AIRBOT_MMK2_storage_rubiks_cube_and_cup

这是一个基于LeRobot扩展格式的数据集，完全兼容LeRobot。数据集使用AIRBOT_MMK2机器人，代码库版本为v2.1，末端执行器类型为五指手。数据集涵盖了家庭场景类型，并包括抓取、拾取和放置等原子动作。数据集包含48个总剧集，13979帧，1个总任务，192个视频和1个数据块，每块大小为1000，帧率为30。数据集由RoboCOIN团队贡献，并遵循apache-2.0许可协议。数据集包括丰富的注释，以支持多种学习方法，并具有视频、状态数据和动作数据等组件。

原始信息汇总

AIRBOT_MMK2_storage_rubiks_cube_and_cup 数据集概述

📋 基本信息

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手
• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 数据集大小: 10K-100K

🏠 场景类型

• 家庭场景

🤖 原子动作

• 抓取
• 拾取
• 放置

📊 数据集统计

指标	数值
总情节数	48
总帧数	13979
总任务数	1
总视频数	192
总分块数	1
分块大小	1000
帧率	30

🎯 任务描述

主要任务

一只手将魔方放在圆形托盘上，另一只手将纸杯放在魔方上

子任务

1. 异常
2. 结束
3. 用右夹爪抓取魔方
4. 用左夹爪抓取纸杯
5. 空
6. 用右夹爪将魔方放在盘子上
7. 用左夹爪将纸杯放在魔方上

🎥 相机视角

• 包含4个相机视角

🏷️ 可用标注

子任务标注

• 细粒度子任务分割和标注

场景标注

• 场景级描述和语义场景分类

末端执行器标注

• 运动方向分类
• 速度幅度分类
• 加速度幅度分类

夹爪标注

• 夹爪模式（开/关状态）
• 夹爪活动状态（活动/非活动）

附加特征

• 末端执行器仿真姿态（6D姿态信息）
• 夹爪开度尺度（连续测量值）

📂 数据划分

• 训练集: 情节0-47

📁 数据集结构

文件组织

• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征架构

视觉观测

• observation.images.cam_high_rgb: 视频 (480×640×3, 30fps, AV1编码)
• observation.images.cam_left_wrist_rgb: 视频 (480×640×3, 30fps, AV1编码)
• observation.images.cam_right_wrist_rgb: 视频 (480×640×3, 30fps, AV1编码)
• observation.images.cam_third_view: 视频 (480×640×3, 30fps, AV1编码)

状态和动作

• observation.state: float32 (36维)
• action: float32 (36维)

运动特征

• eef_sim_pose_state/eef_sim_pose_action: float32 (12维)
• eef_direction_state/eef_direction_action: int32 (2维)
• eef_velocity_state/eef_velocity_action: int32 (2维)
• eef_acc_mag_state/eef_acc_mag_action: int32 (2维)

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📚 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，构建高质量数据集对推进双手机器人控制算法至关重要。该数据集基于LeRobot框架扩展格式构建，采用AIRBOT_MMK2双手机器人平台与五指灵巧手末端执行器，在家庭场景中系统采集了48个完整操作序列。通过四路高清摄像头以30帧率同步记录多视角视频数据，同时采集36维关节状态与动作指令，并按照分块存储策略组织为标准化Parquet格式，确保数据结构的完整性与兼容性。

特点

该数据集在机器人操作数据领域展现出显著的多模态特性。其核心价值在于包含13979帧同步采集的视觉-动作数据对，涵盖高视角、左右腕部视角及第三视角四路RGB视频流。更值得关注的是提供了精细的末端执行器运动学标注，包括6D位姿、速度方向与加速度分级信息，以及五指灵巧手的抓握状态与活动模式标注。这些多层次注释为研究双手机器人的协同操作与精细抓握控制提供了丰富的研究维度。

使用方法

针对机器人模仿学习与行为克隆研究需求，该数据集可通过LeRobot标准接口直接加载使用。研究者可利用其分块存储结构快速访问特定操作片段，通过episode索引调用对应的多模态数据流。训练过程中可联合利用视觉观察、关节状态与动作轨迹，结合丰富的运动学标注进行细粒度行为分析。数据集完全兼容主流机器人学习框架，支持端到端的策略学习与验证评估。

背景与挑战

背景概述

在机器人操作研究领域，双手机器人协同作业一直是提升任务复杂度的关键方向。AIRBOT_MMK2_storage_rubiks_cube_and_cube数据集由RoboCOIN团队于2025年11月发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于家庭环境下的双手精细操作任务。通过AIRBOT_MMK2机器人平台与五指灵巧手的结合，研究人员旨在探索魔方与纸杯堆叠任务中的动作规划与协调机制，其兼容LeRobot框架的设计为模仿学习与强化学习算法提供了标准化数据支撑。

当前挑战

该数据集致力于解决双手协同操作中的动作同步与物体稳定性控制难题，尤其面临多视角视觉感知融合与高维状态空间建模的技术瓶颈。在构建过程中，团队需要克服双端执行器轨迹标注的一致性校验问题，同时确保四路摄像头采集的时空对齐精度。灵巧手抓取力度与放置精度的量化标注，以及模拟环境与真实物理交互的数据映射，均为数据集构建带来显著挑战。

常用场景

经典使用场景

在机器人操作学习领域，AIRBOT_MMK2数据集以其精细的双臂协调操作记录成为经典研究素材。该数据集聚焦于魔方与纸杯的堆叠任务，通过48个完整操作序列和13979帧多视角视频数据，为机器人双臂协同控制算法的开发提供了丰富训练样本。其特色在于完整记录了五指灵巧手执行抓取、拾取、放置等基础动作的动力学参数，为模仿学习和强化学习算法提供了标准化评估基准。

解决学术问题

该数据集有效解决了机器人操作研究中双臂任务协调规划的关键难题。通过提供精确的末端执行器位姿、速度、加速度等多维度运动数据，为机器人运动学建模与动力学分析建立了可靠的数据基础。其丰富的子任务标注体系支持分层强化学习算法的开发，而多视角视觉观测数据则推动了视觉-动作映射模型的研究进展，显著提升了机器人操作任务的泛化能力与适应性。

衍生相关工作

基于该数据集衍生的研究工作主要集中在机器人操作学习的多个前沿方向。在RoboCOIN项目框架下，研究者开发了新型的双臂协调控制算法，提升了机器人在非结构化环境中的操作性能。与LeRobot生态系统的深度整合催生了多模态感知-动作联合学习模型的发展，同时推动了机器人操作数据标准化格式的完善。这些工作共同构成了现代机器人操作学习研究的重要基石。