so101_grab

这是一个使用LeRobot创建的机器人数据集，专门针对so101型机器人。数据集包含20个训练episodes，总计17912帧数据，帧率为30fps。数据特征包括6维动作向量（控制肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪），6维观测状态（对应相同的关节角度），480x640分辨率的前视RGB图像视频，以及时间戳、帧索引、episode索引等元数据。数据集采用Apache 2.0许可证。

This is a robotic dataset created using LeRobot, specifically tailored for the so101 robot. The dataset contains 20 training episodes, totaling 17912 frames at a frame rate of 30 fps. The data features include a 6-dimensional action vector (controlling shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, and the gripper), a 6-dimensional observation state corresponding to the same joint angles, front-facing RGB video clips with a resolution of 480×640, as well as metadata such as timestamps, frame indices, and episode indices. The dataset is licensed under Apache 2.0.

原始信息汇总

数据集概述

基本信息

• 名称：so101_grab
• 许可证：Apache-2.0
• 任务类别：机器人学
• 标签：LeRobot, so101, tutorial

数据集结构

• 总集数：20
• 总帧数：17912
• 总任务数：1
• 总视频数：20
• 总块数：1
• 块大小：1000
• 帧率：30 FPS
• 数据分割：训练集（0:20）

数据文件

• 数据格式：Parquet
• 数据路径模式：data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式：videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征说明

动作特征

• 名称：action
• 数据类型：float32
• 形状：[6]
• 关节名称：
  • main_shoulder_pan
  • main_shoulder_lift
  • main_elbow_flex
  • main_wrist_flex
  • main_wrist_roll
  • main_gripper

观测特征

状态观测

• 名称：observation.state
• 数据类型：float32
• 形状：[6]
• 关节名称：
  • main_shoulder_pan
  • main_shoulder_lift
  • main_elbow_flex
  • main_wrist_flex
  • main_wrist_roll
  • main_gripper

图像观测

• 名称：observation.images.front
• 数据类型：video
• 图像尺寸：480×640×3
• 视频信息：
  • 高度：480
  • 宽度：640
  • 编解码器：av1
  • 像素格式：yuv420p
  • 深度图：否
  • 帧率：30
  • 通道数：3
  • 包含音频：否

元数据特征

• 时间戳：timestamp (float32, [1])
• 帧索引：frame_index (int64, [1])
• 集索引：episode_index (int64, [1])
• 索引：index (int64, [1])
• 任务索引：task_index (int64, [1])

技术信息

• 代码库版本：v2.1
• 机器人类型：so101

创建信息

• 创建工具：LeRobot (https://github.com/huggingface/lerobot)

搜集汇总

数据集介绍

构建方式

so101_grab数据集是基于LeRobot框架构建的机器人操作数据集，旨在为机械臂抓取任务提供标准化的训练与评估资源。该数据集通过采集so101型机器人在单一任务场景下的20个完整演示片段，以30帧每秒的采样率记录了共计17912帧的运动数据。数据以Parquet格式存储，并辅以AV1编码的视觉观测视频，确保高保真度的状态与动作信息得以保留。每个片段均包含6维关节状态与动作标签，涵盖肩部、肘部、腕部及夹爪的精细控制参数，为模仿学习与强化学习研究提供了结构化的时序数据基础。

特点

该数据集的核心特点在于其高度一致性与任务专一性，所有20个片段均围绕同一抓取任务展开，消除了多任务混杂带来的噪声干扰。数据特征空间设计精密，动作与观测状态共享相同的6维关节命名体系，便于模型直接建立状态到动作的映射关系。视觉观测采用640×480像素的前置摄像头图像，结合时间戳与帧索引，为多模态融合学习提供了对齐良好的数据流。此外，数据集遵循Apache-2.0开源协议，并兼容LeRobot工具链，可无缝接入现有的机器人学习工作流。

使用方法

使用so101_grab数据集时，推荐通过LeRobot库的Dataset接口加载Parquet与视频文件，自动解析特征字典中的动作、状态及图像序列。训练前需将20个片段按默认划分全部用于训练，并利用chunks_size参数控制数据加载的批次粒度。对于模仿学习任务，可直接将observation.state作为输入，action作为监督信号；若需引入视觉信息，则需将observation.images.front中的视频帧进行预处理，如尺寸归一化与色彩空间转换。研究者亦可扩展数据集的用法，通过自定义采样策略提取子序列，或利用时间戳信息进行时序对齐分析。

背景与挑战

背景概述

在机器人学习领域，模仿学习与示教数据驱动的方法已成为突破传统编程局限的重要途径。so101_grab数据集由Hugging Face LeRobot团队于近期创建，旨在为机器人抓取操作提供标准化训练资源。该数据集聚焦于SO101型机械臂的抓取任务，通过20个示教回合记录了17,912帧高保真状态与图像数据，涵盖6自由度关节角度及前置摄像头视觉信息。作为LeRobot教程生态的组成部分，其设计初衷是降低机器人学习研究的入门门槛，推动可复现的基准测试。数据集采用Apache-2.0开源协议发布，便于学术与工业界广泛使用，对构建通用机器人操作策略具有基础性支撑作用。

当前挑战

当前机器人抓取任务面临的核心挑战在于高维状态空间的泛化性与数据效率。so101_grab数据集虽提供了结构化示教样本，但仅包含单一任务与20个回合的有限规模，难以覆盖复杂环境中的物体几何多样性、位姿变化及动态干扰。构建过程中，数据采集依赖人工遥操作示教，存在运动轨迹偏差与视角局限，且未标注物体语义属性或抓取成败标签。此外，6维动作空间与480×640像素图像的分辨率限制，使得从低维状态到高维视觉特征的对齐学习面临过拟合风险。如何从稀疏示教中提取鲁棒的策略表征，仍是制约该数据集实用性的关键瓶颈。

常用场景

经典使用场景

so101_grab数据集作为机器人操作领域的标准基准，广泛应用于模仿学习与强化学习的算法验证。该数据集聚焦于so101型机械臂的抓取任务，通过记录20个示范回合、逾17000帧的高保真运动学数据与视觉观测，为端到端策略学习提供了高质量的专家轨迹。研究者常利用其结构化的动作空间（6维关节控制）与同步的前视摄像头图像，训练从像素到动作的映射模型，如行为克隆或扩散策略，从而评估算法在有限示范下的泛化能力与鲁棒性。

衍生相关工作

围绕so101_grab数据集，衍生出了一系列开创性工作。例如，基于其轨迹数据开发的残差强化学习框架，在保持专家行为先验的同时提升了策略的鲁棒性；将多视角视觉融合与隐式运动规划结合的架构，则突破了单一视角遮挡的局限。此外，该数据集还被用于验证跨具身迁移的可行性，通过对比不同机械臂构型下的策略表现，推动了通用操作基模型的研究浪潮。

数据集最近研究

最新研究方向

基于so101_grab数据集的机器人模仿学习与灵巧操作研究