111

这是一个关于机器人学的数据集，具体包含了机器人类型为so100的3个剧集，共1761帧，1个任务，9个视频和1个块。数据集以Parquet格式存储，并提供了相关视频文件。数据集的特征包括机器人的动作、状态、以及左右摄像头捕获的图像信息。每个剧集被分割为训练集。数据集的许可证为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot
• 配置:
  • 默认配置数据文件路径: data/*/*.parquet

数据集描述

• 创建工具: LeRobot
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 代码库版本: v2.0
• 机器人类型: so100
• 总集数: 3
• 总帧数: 1761
• 总任务数: 1
• 总视频数: 9
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据分割:
  • 训练集: 0:3
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• 动作 (action):
  • 数据类型: float32
  • 形状: [12]
  • 名称: 左肩平移、左肩提升、左肘弯曲、左腕弯曲、左腕滚动、左夹持器、右肩平移、右肩提升、右肘弯曲、右腕弯曲、右腕滚动、右夹持器
• 观察状态 (observation.state):
  • 数据类型: float32
  • 形状: [12]
  • 名称: 同上动作特征
• 观察图像 (observation.images.laptop/right/left):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: 高度、宽度、通道
  • 视频信息:
    • 帧率: 30.0
    • 高度: 480
    • 宽度: 640
    • 通道: 3
    • 编解码器: h264
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 是否有音频: false
• 时间戳 (timestamp):
  • 数据类型: float32
  • 形状: [1]
• 帧索引 (frame_index):
  • 数据类型: int64
  • 形状: [1]
• 集索引 (episode_index):
  • 数据类型: int64
  • 形状: [1]
• 索引 (index):
  • 数据类型: int64
  • 形状: [1]
• 任务索引 (task_index):
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据集的构建通常依赖于实际硬件平台的操作记录。该数据集通过LeRobot框架采集，采用双臂机器人so100执行任务，以30fps的帧率记录多模态数据。数据以分块形式存储，每个块包含1000帧，涵盖3个完整任务片段，总计1761帧。原始数据经过标准化处理，保存为parquet格式，确保高效存储与读取。

使用方法

研究者可通过HuggingFace数据集库直接加载该数据集，利用标准接口访问多模态数据流。训练时可按帧索引提取观测图像与对应动作标签，构建状态-动作映射模型。视频数据支持逐帧解码，可与关节状态数据同步使用。数据集已预分为训练集，包含全部3个任务片段，适用于模仿学习算法的训练与验证。

背景与挑战

背景概述

机器人学习领域近年来致力于通过大规模数据集推动智能体行为策略的发展，111数据集作为LeRobot项目的重要组成部分，专注于双手机器人操作任务的示范数据收集。该数据集采用Apache 2.0开源协议，通过多视角视觉感知与高维动作空间的同步记录，为模仿学习与强化学习算法提供真实世界的交互轨迹。其设计融合了时空连续性与多模态特性，旨在解决复杂环境下机器人精细操作的可复现性问题，对推动机器人泛化能力研究具有重要价值。

当前挑战

该数据集核心挑战在于解决高自由度双手机器人协同操作的任务泛化问题，需克服多传感器时序对齐、动作空间维度灾难及视觉-运动链映射的复杂性。构建过程中面临多视角视频流同步存储、大规模示范数据质量控制以及真实环境动态干扰应对等工程难题，同时需确保数据格式标准化与不同机器人平台的兼容性。

常用场景

经典使用场景

在机器人学习领域，该数据集通过记录双臂机器人的关节状态与多视角视觉数据，为模仿学习与强化学习算法提供高质量训练样本。研究者可利用其包含的连续动作序列与同步图像观测，开发能够处理复杂操作任务的智能体系统。

解决学术问题

该数据集有效解决了机器人操作任务中多模态感知与运动控制的联合建模难题。通过提供精确的时间对齐状态数据与多角度视频流，支持学术界研究高维动作空间下的策略学习、跨模态表示对齐等核心问题，推动机器人自主决策能力的发展。

实际应用

工业自动化场景中，该数据集可用于训练双臂协作机器人完成精密装配、物料分拣等任务。服务机器人领域则能基于其多视角视觉数据开发家居物品操作技能，为养老助残、智能家居等应用提供技术支撑。

数据集最近研究

最新研究方向

在机器人学习领域，双足机器人操作数据集正推动模仿学习与多模态感知的融合研究。该数据集通过集成双机械臂的关节状态数据与多视角视觉信息，为行为克隆和视觉运动策略学习提供丰富样本。当前研究热点集中于利用此类数据开发端到端的神经网络架构，实现从原始像素到连续动作的映射，同时探索跨任务泛化能力。随着具身智能的发展，这类高质量真实世界操作数据对推动家庭服务机器人的实际应用具有重要价值，为机器人适应复杂非结构化环境提供关键训练基础。