cortx-labs/bimanual-chocolate-balls-serving

该数据集由LeRobot创建，主要用于机器人领域。数据集包含2个episodes，2446帧和1个任务。数据格式包括parquet文件和视频文件。观测数据涵盖12个关节位置（左右肩、肘、腕和夹爪）和3个视角的图像数据（顶部、左腕和右腕视角），图像分辨率为480x640，帧率为30fps。数据集总大小为300MB（数据100MB，视频200MB）。

This dataset was created using LeRobot and is primarily used in the robotics field. It contains 2 episodes, 2446 frames, and 1 task. The data format includes parquet files and video files. Observations encompass 12 joint positions (left/right shoulder, elbow, wrist, and gripper) and image data from 3 perspectives (top, left wrist, and right wrist), with a resolution of 480x640 and a frame rate of 30fps. The total dataset size is 300MB (100MB for data and 200MB for videos).

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，精细化的双机械臂协作任务数据集尤为稀缺。该数据集依托LeRobot框架构建，专注于双机械臂协同完成巧克力球盛放服务这一典型作业场景。数据采集涵盖50个完整示范轨迹，总计54562帧时序数据，并以30帧/秒的高频采样确保动作连续性。其结构设计采用分块存储策略，将原始观测数据与高清视频分别存放于Parquet文件与AV1编码的MP4文件中，便于高效读写与分布式处理。

特点

该数据集的核心特色在于其多维异构感知信息的深度融合。一方面，通过三个固定视角及腕部相机同步录制640×480像素的彩色视频流，构建了丰富的视觉观测空间；另一方面，完整记录了双机械臂共12个关节（含左右各5个自由度及夹爪）的位置状态与动作指令，形成动作-状态双模态对齐的精细标注。所有轨迹均按单一任务统一划分训练集，且元信息中明确标注了机器人型号与代码库版本，为复现与迁移学习提供了坚实保障。

使用方法

使用本数据集时，推荐基于LeRobot工具链进行加载与可视化。用户可通过Hugging Face Spaces中的交互式界面直接预览轨迹动画。数据加载需按'data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet'格式读取分块，同时关联对应的视频文件。训练模型时，可将'observation.state'与'observation.images.*'作为输入特征，以'action'为预测目标，结合时间戳与帧索引构建时序建模管道。此外，数据集采用Apache-2.0开源许可，支持学术与商业场景下的自由使用与二次开发。

背景与挑战

背景概述

在机器人操作领域，双臂协同控制是实现复杂灵巧操作的关键技术，但长期以来受限于高质量示范数据的匮乏。由cortx-labs团队创建的bimanual-chocolate-balls-serving数据集，诞生于2024年前后，依托HuggingFace LeRobot框架构建，旨在为双臂机器人提供精细操作任务的训练与评测基准。该数据集聚焦于巧克力球盛放这一典型的双臂协作场景，包含50个示范片段、超过5.4万帧高帧率（30FPS）记录，涵盖了左右臂各6个自由度的关节位置与夹爪状态，以及多视角（左上方、左侧腕部、右侧腕部）的同步视频信息。其发布填补了双臂精细操作领域标准化数据集的空白，为模仿学习、行为克隆等算法的开发与验证提供了宝贵资源，对推动双臂机器人从实验室走向实际应用具有重要意义。

当前挑战

该数据集所解决的领域问题核心在于双臂机器人精细操作中的模仿学习与技能迁移挑战。传统单臂数据集无法捕获双臂协调所需的时空耦合关系，而巧克力球盛放任务要求双臂在执行抓取、转移、释放等子动作时保持精确同步与柔顺交互，这对数据采集的准确性与完备性提出了极高要求。构建过程中面临的挑战主要包括：多传感器（多视角相机与关节编码器）的时序同步与标定，确保状态与视觉信息严格对齐；数据采集场景的规范化设计，避免光照、遮挡等干扰因素引入噪声；以及示范轨迹的多样性覆盖，以避免算法过拟合于特定初始条件或操作策略。此外，在50个片段的有限规模下，如何平衡数据量、样本复杂性与标注成本，也是制约数据集实用价值的核心难题。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，bimanual-chocolate-balls-serving数据集作为一项专为双臂协作任务设计的精细操作数据集，其经典使用场景聚焦于学习从视觉观测到机械臂关节动作的端到端映射。该数据集提供了50个高质量演示片段，包含超过5.4万帧的同步视觉与运动数据，覆盖了双臂在巧克力球分拣与摆放过程中复杂的协调动作。研究者常借助该数据集训练模仿学习或强化学习模型，使机器人能够从多视角图像（如左上方、左右腕部摄像头）中提取环境特征，并生成双臂14自由度关节空间的控制指令，从而复现人类演示中的精准抓取、姿态调整与协同放置行为。

实际应用

在实际应用层面，bimanual-chocolate-balls-serving数据集为食品加工、精密装配及医疗手术等领域的双臂自动化系统提供了可迁移的训练素材。例如，在食品包装产线上，机器人可学习稳定地配合分拣易碎食品；在电子元器件组装中，双臂协作能实现精密零件的高效对准与装配。此外，该数据集结合LeRobot框架的标准化数据格式，支持工业机器人在仿真环境中的快速策略迭代，显著缩短了从演示采集到实物部署的周期。其多视角视觉数据还赋能了基于视觉伺服的控制系统，使机器人在光照变化或遮挡环境下仍能保持操作鲁棒性，直接服务于柔性制造与家庭服务等场景。

衍生相关工作

该数据集孵化了多项创新性研究工作，尤其在双臂模仿学习与行为克隆领域催生了多个经典管线。基于其提供的状态-动作对序列，研究者开发了结合扩散模型的动作生成方法，通过建模动作轨迹的时序分布实现更平滑的双臂协同。另外，该数据集被用于验证跨形态迁移学习框架，即将单臂操作预训练模型在双臂场景中微调，证明了共享运动基元的可行性。受其数据结构的启发，后续工作还提出了分层任务分解策略，将复杂的巧克力球分拣任务拆解为独立的手臂子任务，并利用该数据集中的接触力隐式信息优化了交互式模仿学习的奖励设计，显著提升了策略在未知环境中的泛化能力。