Metric-AI/so_101_chocolate_50ep_v4_20260619_155110

该数据集使用LeRobot创建，专注于机器人学领域，具体针对so_follower机器人类型。数据集包含15个episodes，总计5118帧数据，涉及一个任务。数据特征包括6维浮点动作（如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部滚动和夹爪位置）和观测状态（同样为6维浮点，对应机器人关节位置）。观测图像包括固定摄像头和手眼摄像头视频，分辨率为480x640，3通道，帧率为30fps，使用AV1编解码器。此外，还包含时间戳、帧索引、episode索引、索引和任务索引等元数据。数据集以Parquet文件格式存储，总数据大小约100MB，视频文件大小约200MB。数据用于训练或评估机器人控制模型，支持分割为训练集（所有episodes）。This dataset was created using LeRobot and focuses on the robotics domain, specifically for the so_follower robot type. It consists of 15 episodes with a total of 5118 frames, covering one task. Features include 6-dimensional float actions (e.g., shoulder pan position, shoulder lift position, elbow flex position, wrist flex position, wrist roll position, gripper position) and observation states (also 6-dimensional float, corresponding to robot joint positions). Observation images comprise fixed camera and hand-eye camera videos with a resolution of 480x640, 3 channels, 30 fps, using the AV1 codec. Additionally, metadata such as timestamp, frame index, episode index, index, and task index are included. The dataset is stored in Parquet format, with a total data size of approximately 100 MB and video files of about 200 MB. It is intended for training or evaluating robot control models and supports a split for training (all episodes).

搜集汇总

数据集介绍

构建方式

本数据集基于LeRobot框架构建，由Metric-AI团队采集并发布。数据源自对so_follower机器人执行单一任务——巧克力操作（so_101_chocolate）的遥操作示范，累计采集15个完整回合（episode），总计5118帧状态与动作序列。每个回合以30帧/秒的频率记录，数据以parquet格式存储于分块文件中，视频流则采用AV1编码压缩为MP4格式。数据集按1000帧的尺寸进行分块组织，便于分布式加载与管理，训练集划分涵盖全部15个回合。

特点

数据集的核心特色在于其多模态融合设计，同时收录了机器人6维关节状态（including shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll及gripper位置）与双视角视觉观测，即固定视角（fixed）与手眼视角（handeye）的RGB视频流，分辨率均为480x640像素，3通道。数据特征包含精确的时间戳、帧索引、回合索引及任务索引，确保时间序列的完整性。全部数据采用Apache-2.0许可协议开放使用，适宜用于模仿学习与机器人技能迁移研究。

使用方法

使用者可借助HuggingFace LeRobot生态工具进行数据可视化与预处理，通过提供的可视化空间链接（Visualize this dataset）直接浏览演示片段。数据加载时需指定默认配置（default），读取data/*/*.parquet路径下的parquet文件。推荐将视频与动作数据配对使用，以构建端到端的机器人控制策略。对于批量化训练，可利用chunks_size=1000的分块结构进行流式读取，或利用已划分的训练集（train: 0-15回合）进行模型训练与验证。

背景与挑战

背景概述

so_101_chocolate_50ep_v4_20260619_155110 数据集诞生于机器人学习与灵巧操作领域，由 Metric-AI 团队于 2026 年创建，依托 HuggingFace 的 LeRobot 框架构建。该数据集聚焦于“巧克力”类精细操作任务，旨在为机器人学习提供高质量的示范数据，推动从感知到动作的端到端策略研究。其核心研究问题在于如何通过多视角视觉与状态信息，使机器人掌握对柔软、易变形态物体的精准操控。数据集中包含 15 个示范片段、逾 5000 帧数据，记录了 6 自由度机械臂（so_follower）及其仿人眼摄像头的操作细节，在机器人操作领域提供了针对特定物体的标准化基准，对模仿学习与强化学习的研究具有重要催化作用。

当前挑战

当前数据集面临的核心挑战在于其规模与泛化能力，15 个示范片段与单一任务约束使其难以支撑复杂环境下鲁棒策略的学习，易导致过拟合。领域问题层面，巧克力操作涉及物体形变、粘附性等物理特性，对机器人的力控与适应能力提出高要求，而现有数据仅涵盖固定场景与初始状态。构建过程中，数据采集依赖昂贵且精密的遥操作设备，流程繁复；同时，视频编码与存储需在质量与压缩率间平衡，高分辨率图像（480×640）的实时处理与传输亦构成技术瓶颈。此外，任务标签的单薄性限制了多任务学习与跨场景迁移的潜力，亟需通过数据增强与多维标注来突破瓶颈。

常用场景

经典使用场景

在机器人学习领域，该数据集为模仿学习与行为克隆提供了高质量的示教数据。数据集包含了从固定摄像头和手眼摄像头捕获的双视角视频流，以及对应六维关节空间的运动指令与状态信息，覆盖了机械臂在巧克力操作任务上的15个完整示教回合。研究者可利用此类多模态观测与精细动作标签，训练机器人策略网络，使其复现复杂的操作技能，如抓取、放置与精准操控。

衍生相关工作

该数据集的发布与LeRobot框架紧密关联，衍生出一系列基于行为克隆、扩散策略及Transformer架构的机器人操控研究。相关工作探索了如何利用此类结构化示教数据进行策略预训练、动作空间压缩以及跨任务迁移学习。此外，它还启发了关于多模态观测融合、长时序列建模以及机器人技能库构建的后续工作，成为机器人学习社区推进可复现研究的重要基石。

数据集最近研究

最新研究方向

该数据集聚焦于机器人精细操作与模仿学习的前沿方向，尤其是涉及巧克力的柔性物体操控场景。在当前的机器人学习热潮中，利用LeRobot框架采集的高保真双臂动作序列与多视角视觉数据，为研究基于视觉的灵巧抓取、力控调节以及长时序任务泛化提供了宝贵资源。此类数据推动了机器人从固定编程向数据驱动策略的转变，尤其对于食品加工、包装等对柔顺性要求严苛的工业场景具有产业化启示，体现了仿真环境与真实世界迁移学习的重要价值。