so101_grab

该数据集使用LeRobot工具创建，包含20个视频，总共17912帧，每个视频包含一个任务。数据集分为训练集，没有提供测试集信息。每个视频帧包含动作信息、状态信息、正面图像、时间戳、帧索引、集索引和任务索引等特征。动作和状态信息包括主肩关节的旋转、提升、肘部弯曲、手腕弯曲、手腕滚动和夹爪的开合。正面图像为480x640的彩色图像，视频编码为av1格式，没有音频。

This dataset was constructed using the LeRobot toolkit, which contains 20 videos with a total of 17912 frames, where each video corresponds to one unique task. The dataset is partitioned into a training subset, with no test set information provided. Each video frame includes multiple features: action information, state information, front-facing images, timestamps, frame indices, dataset indices, and task indices. The action and state information encompasses the rotation, elevation, elbow flexion, wrist flexion, wrist roll, and gripper opening/closing of the primary shoulder joint. The front-facing images are 480×640 resolution color images, and all videos are encoded in the AV1 format without any audio.

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot, so101, tutorial

数据集结构

• 总情节数: 20
• 总帧数: 17912
• 总任务数: 1
• 总视频数: 20
• 总块数: 1
• 块大小: 1000
• 帧率: 30 FPS
• 数据分割: 训练集 (0:20)

数据特征

动作特征

• 数据类型: float32
• 形状: [6]
• 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper

观测状态特征

• 数据类型: float32
• 形状: [6]
• 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper

前视图像观测特征

• 数据类型: 视频
• 形状: [480, 640, 3]
• 名称: 高度, 宽度, 通道数
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 是否包含音频: false

其他特征

• 时间戳: float32, 形状 [1]
• 帧索引: int64, 形状 [1]
• 情节索引: int64, 形状 [1]
• 索引: int64, 形状 [1]
• 任务索引: int64, 形状 [1]

数据存储

• 数据文件路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

技术信息

• 代码库版本: v2.1
• 机器人类型: so101

搜集汇总

数据集介绍

构建方式

在机器人技术领域，so101_grab数据集通过LeRobot平台系统性地采集了20个完整操作片段，涵盖17912帧高精度数据。每个片段以30帧每秒的速率记录，数据以Parquet格式分块存储，确保高效访问与处理。构建过程中整合了多模态信息，包括机械臂关节状态、前端视觉图像及时间序列元数据，为机器人抓取任务提供了全面且结构化的数据基础。

使用方法

研究者可通过加载Parquet数据文件直接访问各帧的观测与动作标签，其中观测状态包含关节角度与前端图像，动作空间则对应六维控制指令。数据集默认划分为训练集，适用于行为克隆、动态模型训练等任务。利用LeRobot提供的工具链，用户可进一步解构视频流与状态序列，实现端到端的机器人抓取策略学习或跨模态表征分析。

背景与挑战

背景概述

机器人操作数据集so101_grab由HuggingFace的LeRobot团队构建，专注于机械臂抓取任务的示范数据收集。该数据集采用Apache 2.0许可证，包含20个完整操作序列，总计17912帧多模态数据，涵盖关节状态、视觉观测和时间戳等信息。其核心研究问题在于为模仿学习与强化学习算法提供高质量的真实世界机器人交互数据，推动机器人自主抓取能力的发展，对家庭服务与工业自动化领域具有重要应用价值。

当前挑战

该数据集致力于解决机器人抓取操作中的动作规划与环境感知挑战，包括高维状态空间下的策略学习和视觉-运动协同控制问题。构建过程中面临多传感器数据同步、机械臂控制精度保障以及真实环境扰动处理等困难，同时需确保数据集的时序一致性与任务多样性，以支持鲁棒性算法的开发。

常用场景

经典使用场景

在机器人操作学习领域，so101_grab数据集为机械臂抓取任务提供了丰富的多模态演示数据。该数据集通过记录六自由度机械臂的关节状态、动作指令及前端视觉观测，构建了完整的感知-动作映射关系。研究者可基于此数据集训练模仿学习模型，使机器人学会从视觉输入到动作输出的端到端映射，为复杂环境下的物体抓取提供数据支撑。

解决学术问题

该数据集有效解决了机器人模仿学习中演示数据稀缺的关键问题。通过提供高质量的动作-状态-视觉同步数据，支持研究者开发无需手工设计特征的端到端学习算法。其标准化数据格式促进了不同算法性能的公平比较，推动了基于学习的机器人控制方法的发展，为克服传统控制方法在复杂场景中的适应性局限提供了重要数据基础。

实际应用

在工业自动化场景中，该数据集可直接应用于智能抓取系统的开发。基于数据集训练的模型能够适应不同形状、材质的物体抓取任务，显著提升生产线的灵活性和效率。在仓储物流领域，此类数据驱动的抓取系统可实现无人化货物分拣，降低人工成本的同时提高作业精度，为智能制造转型升级提供关键技术支撑。

数据集最近研究

最新研究方向

在机器人操作学习领域，so101_grab数据集正推动模仿学习与视觉运动控制的前沿探索。该数据集通过LeRobot平台采集的多模态机械臂抓取数据，为端到端策略学习提供了丰富的关节状态与视觉观测对应关系。研究者们正基于此类数据开发能够泛化到真实场景的深度强化学习模型，结合Transformer架构处理时序视觉输入，提升机械臂在非结构化环境中的物体抓取能力。随着具身智能研究的升温，该数据集为仿真到实物的迁移学习提供了重要基准，促进了家庭服务机器人抓取操作的实用化进程。