HyeonseokE/SO101-DistributeChoco_Ours_20epi

该数据集是一个用于机器人技能学习的机器人数据集，基于LeRobot平台创建。数据集包含20个完整的情节（episodes），总计9530帧数据，涉及1个任务。数据以parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为10fps。数据集的特征丰富，包括观测状态（如6个关节的位置、末端执行器的XYZRPY坐标、二进制夹爪状态）、动作（6个关节的位置控制）、技能信息（如自然语言描述、验证问题、技能类型、进度、目标位置等）、子任务信息（如自然语言描述、对象名称、目标位置）以及时间戳和索引信息。观测图像包括顶部摄像头和左腕摄像头的视频数据，分辨率为480x640，格式为h264编码的MP4视频。数据集适用于机器人控制、模仿学习、强化学习等研究，特别关注技能学习和任务分解。This robotic dataset is developed for robot skill learning and built on the LeRobot platform. It contains 20 complete episodes, totaling 9530 frames of data, corresponding to one single task. The non-video data is stored in Parquet format, with a total size of 100 MB, while the video files occupy 200 MB and run at a frame rate of 10 fps. The dataset features rich modalities, including observation states (e.g., positions of 6 joints, XYZRPY coordinates of the end-effector, binary gripper state), actions (position control commands for 6 joints), skill-related metadata (e.g., natural language descriptions, validation questions, skill types, progress status, target positions), subtask information (e.g., natural language descriptions, object names, target positions), as well as timestamps and index information. The observation images include video data captured by the top-down camera and the left-wrist camera, with a resolution of 480×640 and encoded in H.264 format as MP4 videos. This dataset is applicable to research in robot control, imitation learning, reinforcement learning and other related domains, with a particular emphasis on skill learning and task decomposition.

搜集汇总

数据集介绍

构建方式

SO101-DistributeChoco_Ours_20epi数据集基于LeRobot框架构建，专为机器人模仿学习任务设计。数据通过远程操作SO101型跟随机器人（so101_follower）采集，记录了其在“分发巧克力”这一具体任务中的行为轨迹。数据集共收录20个完整操作回合（episode），包含9530帧时序数据，采样频率为10帧/秒。每个回合均同步存储了来自顶部和左腕两个视角的640×480分辨率视频流，以及机器人六自由度关节状态、末端执行器位姿、夹爪开合状态等多模态观测信息。数据以Parquet格式分块存储，视频采用H.264编码，并配有元数据文件描述整体结构。

特点

该数据集的核心特点在于其丰富的标注层次与细粒度语义信息。除常规的机器人状态-动作对（6维关节位置指令）外，每个样本还包含多级技能标注：自然语言描述的任务指令（skill.natural_language）、验证性问题（skill.verification_question）、技能类型与进度指标，以及关节空间和笛卡尔空间中的目标位姿。子任务层面进一步提供了物体名称与三维目标位置。此外，数据集记录了夹爪的二进制状态和帧级时间戳，便于时序建模。总计约100MB的数值数据与200MB的视频数据，为离线强化学习、行为克隆及多任务策略迁移提供了高质量的多模态基准。

使用方法

数据集可通过LeRobot库的API便捷加载，利用其内置的视觉化工具直接在HuggingFace Spaces中浏览各回合的视频与状态序列。用户可按需提取observation.state和action字段的六维浮点数组用于训练策略网络，或调用observation.images下的视频帧序列进行视觉-运动联合学习。对于技能级任务，可解析skill.goal_position中的关节或笛卡尔目标进行目标条件策略学习。数据默认划分为训练集（20个回合全部使用），支持通过chunks_size参数调整数据块大小以适配内存限制。推荐的典型应用方向包括基于扩散模型的机器人动作生成、语言指令跟随以及细粒度进度感知的模仿学习。

背景与挑战

背景概述

在机器人学习领域，从人类演示中获取高质量、多模态的操作数据是驱动模仿学习与技能泛化的关键基石。SO101-DistributeChoco_Ours_20epi数据集由研究人员HyeonseokE基于LeRobot框架创建，于近期公开发布，旨在解决精细操作任务中数据稀缺与结构化不足的问题。该数据集聚焦于“分发巧克力”这一典型场景，利用SO101型机器人采集了20个完整示教回合，共计9530帧高保真记录。每条轨迹同时包含6维关节状态、6维末端执行器位姿、末端夹爪状态以及顶部和左腕双视角视觉影像，并辅以自然语言描述的子步骤、目标位置与技能进度信息。这种多源异构的数据组织形式，为研究复杂长程任务的层次化分解、状态表征与跨模态对齐提供了理想平台，在机器人操作技能学习社区中具有拓展示范数据集多样性与结构化标注水平的参考价值。

当前挑战

该数据集所面临的挑战可从领域问题与构建过程两个维度加以审视。在领域问题层面，巧克力分发涉及精密抓取、稳定搬运与精准放置等一系列连续且对力控敏感的操控动作，对模型在有限示范下的泛化能力与抗干扰鲁棒性提出了严苛要求。此外，细粒度子任务（如识别目标位置、调整夹爪姿态）的精准执行需要视觉与运动信息的深度耦合，当前数据规模（20回合）能否支撑模型的真实世界迁移仍存疑问。在构建过程中，多传感器同步与标定是首要技术难点，尤其需确保双视角视频流与机器人状态数据在10Hz帧率下的时间对齐精度；同时，面向长程任务的结构化标注——包括自然语言描述、技能阶段划分与目标位置标记——不仅耗时巨大，且极易引入标签不一致性问题，对后续模型训练的数据质量构成潜在威胁。

常用场景

经典使用场景

在机器人学习与操作领域，SO101-DistributeChoco_Ours_20epi数据集专门服务于从人类演示中学习复杂操作技能的任务。该数据集聚焦于巧克力分发这一精细操作场景，通过记录20个完整演示回合中机械臂的关节状态、末端执行器位姿、夹爪状态以及顶部和左腕部摄像头的视觉信息，为模仿学习与行为克隆提供了高质量的专家轨迹。研究者可据此训练机器人掌握协调的抓取与放置动作，将散落的巧克力块准确分发至目标位置，从而在结构化环境中复现人类操作的流畅性。

实际应用

在工业与服务业自动化场景中，SO101-DistributeChoco_Ours_20epi数据集直接赋能精细物料分拣与包装任务。例如，食品加工生产线可利用基于该数据训练的机器人完成巧克力、糕点等易损品的柔性抓取与分装，避免硬性夹持导致的产品损伤。在零售物流场景中，机器人可学习将散装商品按订单需求精确分配到指定格口，提升仓储作业效率。此外，该数据集的采集框架可迁移至药品分拣、电子元件组装等要求高精度操作任务的领域，为机器人在多样化生产环境中实现“即学即用”提供低成本部署方案。

衍生相关工作

围绕该数据集，研究者已开展多项标志性工作。在模仿学习方面，涌现出基于扩散策略的动作生成模型，利用数据集中的多模态信息生成平滑且鲁棒的操作轨迹，显著提升了长序列任务的成功率。在视觉-语言-动作联合建模领域，衍生工作探索将自然语言指令映射为低层级控制信号，例如通过预训练视觉编码器与语言模型对齐，实现零样本技能迁移。此外，有工作致力于数据增强与仿真到现实迁移，通过重播数据中的状态-动作对并添加随机扰动，训练策略在实体机器人上完成抗干扰操作。这些工作共同推动了从演示数据到可部署机器人技能的转化进程。