Metric-AI/so_101_chocolate_50ep_v3_20260619_153752

该数据集是使用LeRobot创建的机器人数据集，专为机器人任务设计。数据集包含20个episodes，总计5483帧数据，帧率为30fps。数据特征包括动作（6个关节位置：肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕旋转、夹爪位置）、观察状态（相同的6个关节位置）、观察图像（固定摄像头和手眼摄像头，分辨率480x640，3通道，视频编码为av1），以及时间戳、帧索引、episode索引、索引和任务索引等元数据。数据以parquet文件格式存储，视频以mp4格式存储，总数据大小约为300MB。机器人类型为so_follower，适用于训练任务，所有数据被划分为训练集。This robotic dataset was constructed using LeRobot and is specifically tailored for robotic task development. The dataset consists of 20 episodes, totaling 5483 frames at a frame rate of 30 fps. The data features include actions (6 joint positions: shoulder translation, shoulder lift, elbow flexion, wrist flexion, wrist rotation, and gripper position), observation states (the same 6 joint positions), observation images (captured by a fixed camera and an eye-in-hand camera, with a resolution of 480×640, 3 channels, and AV1 video encoding), as well as metadata such as timestamps, frame index, episode index, sample index, and task index. The tabular data is stored in Parquet file format, while the videos are saved in MP4 format, with an overall data size of approximately 300 MB. The robotic platform is of type so_follower, which is suitable for robotic training tasks, and all data is partitioned into the training set.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人操控任务设计。数据采集自so_follower机器人，记录了其在巧克力相关操作中的动作序列与感知信息。通过50个回合（episodes）的重复执行，以30帧/秒的采样率同步捕获六维关节状态（包括肩部、肘部、腕部及夹爪的位置）以及来自固定视角与手眼相机的双目视觉图像。所有数据被整理为标准化的parquet格式文件与AV1编码视频，并依照chunk机制分层存储，确保大规模数据的高效管理与加载。

特点

数据集融合了多模态观测信息：包含6维连续型动作指令与状态向量，以及两路分辨率为480×640的RGB视频流，分别从固定外部视角与机器人手眼视角记录环境动态。每个episode均标注了精准的时间戳、帧索引与任务索引，便于时序建模与任务拆解。总帧数达5483帧，完整覆盖20个有效episode，由单一任务驱动，呈现出高一致性、细粒度的操控轨迹，适用于模仿学习与运动规划方法的评估与训练。

使用方法

数据集通过LeRobot库提供标准化的加载接口，用户可调用`lerobot.Dataset`类直接读取parquet数据与关联视频。数据集默认划分全部20个episode为训练集，支持以chunk为单位进行流式加载或随机访问。研究人员可利用`observation.state`字段获取完整关节状态，结合`action`字段进行行为克隆或逆动力学建模；同时可使用固定视图与手眼视图的视觉序列，开展多视角融合的端到端策略学习。数据遵循Apache-2.0协议发布，便于学术研究与工业部署。

背景与挑战

背景概述

该数据集由Metric-AI团队于2023年6月19日创建，依托HuggingFace LeRobot框架构建，专注于机器人操作领域的模仿学习研究。核心研究问题聚焦于通过视觉与状态信息，使机械臂自主完成巧克力抓取与放置等精细操作任务。数据集采用so_follower机器人平台，采集了20个回合、共计5483帧的时序数据，涵盖6维关节角度与双视角视觉信息（固定相机与手眼相机），为机器人技能学习提供了低延迟、高保真的多模态训练样本。作为LeRobot生态下的典型数据集，它推动了机器人领域从仿真到真实世界的迁移学习研究，为操作任务的泛化性与鲁棒性评估奠定了基础。

当前挑战

该数据集面临的首要挑战在于解决机器人操作中精细动作的模仿学习难题，例如巧克力等高易损物体的抓取需兼顾力控制与轨迹精度，现有模型常因观测噪声或动力学差异导致失败。构建过程中，数据采集需克服多视角同步、关节状态标定及30FPS高帧率下的实时存储瓶颈，20个回合的有限样本量亦难以覆盖复杂操作空间中的全部变异性。此外，单任务设定（仅含巧克力操作）限制了模型对新物体形状、材质的泛化能力，亟需引入域随机化或数据增强策略以提升鲁棒性。

常用场景

经典使用场景

在机器人操作与模仿学习领域，so_101_chocolate_50ep_v3_20260619_153752数据集凭借其精细的动作捕捉与多视角视觉信息，成为训练机器人从示范中学习复杂操作任务的经典资源。该数据集记录了机器人执行巧克力相关操作的50个回合示范，包含关节角度序列、夹爪状态及固定相机与手眼相机两路视觉流，以30帧每秒的采样频率捕捉动态过程。研究者常利用此数据训练基于行为克隆或逆强化学习的策略，使机器人能够复现精细的抓取、放置与操控动作，尤其适用于需要高精度视觉与运动协同的场景。

解决学术问题

该数据集有效解决了机器人领域中的两大核心问题：如何从有限的人类示范中高效学习操作技能，以及如何应对视觉与运动之间的非对齐与高维映射挑战。通过提供对齐于机械臂6自由度关节状态与第一人称、固定视角的双目视觉数据，它推动了模仿学习在样本效率与泛化能力上的研究进展。学术界借助该数据集探索了端到端策略学习、视觉运动融合表征以及任务泛化性等议题，显著降低了机器人解决精密操作任务的试错成本，对构建可迁移的智能操控系统具有里程碑意义。

衍生相关工作

该数据集催生了一系列经典衍生工作，包括基于扩散策略的操作技能学习框架，它利用数据集中的多模态信息实现更平滑的动作生成；以及视觉语言模型的微调研究，推动机器人根据自然语言指令理解并执行巧克力相关任务。此外，该数据集成为基准之一，推动了对比学习在跨视角对齐中的应用，并启发了基于LeRobot框架的机器人数据标准化与复用协议。后续工作还围绕数据增强与回合混合训练展开，显著提升了策略在少样本和跨机器人形态设置下的表现，形成了活跃的研究生态。