AIRBOT_MMK2_place_the_yellow_block

AIRBOT_MMK2_place_the_yellow_block数据集是一个基于LeRobot格式的扩展数据集，用于机器人任务学习。数据集包含丰富的注释和特征，支持多种学习方法。数据集分为训练和测试两部分，并按照LeRobot格式组织。数据集在Apache-2.0许可下发布。

原始信息汇总

AIRBOT_MMK2_place_the_yellow_block 数据集概述

📋 数据集基本信息

• 数据集名称: AIRBOT_MMK2_place_the_yellow_block
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 规模分类: 10K-100K

🤖 机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

🏠 场景类型

• 家庭环境

⚡ 原子动作

• 抓取
• 拾取
• 降低

📊 数据集统计

指标	数值
总情节数	47
总帧数	10030
总任务数	1
总视频数	188
总分块数	1
分块大小	1000
帧率	30

🎯 任务描述

主要任务

用一只手将黄色方块从桌子放到魔方上，用另一只手将黄色方块从魔方拿到桌子上

子任务

1. 异常
2. 结束
3. 用右手夹爪抓取魔方上的黄色方块
4. 用左手夹爪抓取黄色方块
5. 空
6. 用左手夹爪将黄色方块放在魔方上
7. 用右手夹爪将黄色方块放在桌子上
8. 静态

🎥 视觉数据

相机视角

• 4个相机视角：
  • 高位RGB相机
  • 左手腕RGB相机
  • 右手腕RGB相机
  • 第三视角相机

视频规格

• 分辨率：480×640
• 帧率：30 FPS
• 编码：av1
• 像素格式：yuv420p

🏷️ 可用标注

子任务标注

• 子任务分割: 细粒度的子任务分割和标注

场景标注

• 场景级描述: 语义场景分类和描述

末端执行器标注

• 方向: 机器人末端执行器运动方向分类
• 速度: 操作过程中的速度大小分类
• 加速度: 运动分析的加速度大小分类

夹爪标注

• 夹爪模式: 夹爪开/闭状态标注
• 夹爪活动: 活动状态分类（活动/非活动）

附加特征

• 末端执行器仿真位姿: 仿真空间中末端执行器的6D位姿信息
• 夹爪开合尺度: 连续的夹爪开合测量

📂 数据结构

数据文件组织

• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 分块: 数据组织为1个分块，每个分块大小1000

特征架构

视觉观测

• observation.images.cam_high_rgb: 视频
• observation.images.cam_left_wrist_rgb: 视频
• observation.images.cam_right_wrist_rgb: 视频
• observation.images.cam_third_view: 视频

状态和动作

• observation.state: float32 (36维)
• action: float32 (36维)

时间信息

• timestamp: float32
• frame_index: int64
• episode_index: int64
• index: int64
• task_index: int64

运动特征

• eef_sim_pose_state: float32 (12维)
• eef_sim_pose_action: float32 (12维)
• eef_direction_state: int32 (2维)
• eef_direction_action: int32 (2维)
• eef_velocity_state: int32 (2维)
• eef_velocity_action: int32 (2维)
• eef_acc_mag_state: int32 (2维)
• eef_acc_mag_action: int32 (2维)

📊 数据划分

• 训练集: 情节0-46

📁 目录结构

AIRBOT_MMK2_place_the_yellow_block_qced_hardlink/ ├── annotations/ ├── data/ │ └── chunk-000/ ├── meta/ └── videos/ └── chunk-000/ ├── observation.images.cam_high_rgb/ ├── observation.images.cam_left_wrist_rgb/ ├── observation.images.cam_right_wrist_rgb/ └── observation.images.cam_third_view/

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 项目页面: https://flagopen.github.io/RoboCOIN/
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

👥 贡献者

• RoboCOIN团队

📄 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

📌 版本信息

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，该数据集采用AIRBOT_MMK2双手机器人平台，通过五指灵巧手执行黄色积木的抓取与放置任务。数据采集过程涵盖47个完整操作片段，总计10030帧视觉与状态数据，以30帧率记录四路相机视角。数据组织遵循LeRobot扩展格式，采用分块存储机制将1000帧数据封装于parquet文件中，确保时序连续性并支持高效读取。

特点

该数据集显著特征在于其多模态标注体系，不仅包含四路高清视频流（全局视角、双腕部视角及第三方视角），更提供末端执行器的六维位姿、运动方向、速度加速度等精细运动参数。针对双手协同操作场景，数据集标注了抓取器开合状态与活动模式，同时包含36维关节状态与动作空间，为模仿学习与策略优化提供全面支撑。子任务分割标注将操作流程分解为8个语义单元，增强了对复杂操作链的理解能力。

使用方法

研究者可通过LeRobot框架直接加载该数据集，利用其标准化的数据接口访问多路视频流与状态动作序列。训练阶段可调用末端执行器仿真位姿、抓取器开合尺度等连续特征，结合离散的运动分类标签构建多任务学习模型。数据按0-46片段划分训练集，支持从原始传感器数据到高层行为语义的端到端学习，适用于行为克隆、强化学习等机器人技能获取方法。

背景与挑战

背景概述

在机器人操作领域，双手协同任务的研究长期面临数据稀缺的挑战。AIRBOT_MMK2_place_the_yellow_block数据集由RoboCOIN团队于2025年11月发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于双手机器人操作任务，通过AIRBOT_MMK2机器人平台采集了包含抓取、拾取、放置等原子动作的47个完整操作序列。其核心研究目标在于解决复杂场景下双手协调操作的轨迹规划与状态感知问题，通过提供多视角视觉观测、末端执行器运动轨迹及精细的动作标注，为机器人模仿学习与强化学习算法的发展提供了关键数据支撑。

当前挑战

该数据集致力于解决双手机器人操作中的多模态感知与协调控制难题，具体包括双手动作时序同步、末端执行器精确位姿控制、以及动态环境下的物体交互稳定性等核心挑战。在构建过程中，研究团队需要克服多传感器数据同步采集的技术障碍，确保四路高清视频流与36维关节状态数据的时空一致性；同时面临复杂操作场景下动作片段精细化标注的工程挑战，需对10030帧数据中的抓取力度、运动轨迹、物体位姿等多元特征进行人工校验与标准化处理。

常用场景

经典使用场景

在机器人操作学习领域，该数据集为双手机器人协同操作提供了标准化的研究平台。通过47个完整操作序列和10030帧多视角视觉数据，研究人员能够深入分析抓取、拾取和放置等基础操作动作的时序特征。数据集精细标注的末端执行器位姿、速度和加速度信息，为机器人动作生成与轨迹规划算法的开发奠定了坚实基础。

解决学术问题

该数据集有效解决了机器人操作中动作分割与任务规划的学术难题。通过提供丰富的子任务标注和场景分类信息，支持研究者开发精确的动作识别模型。多模态数据融合特性助力解决视觉-动作对应关系建模问题，而双手机器人协同操作的完整记录则为研究复杂任务分解与执行策略提供了宝贵资源。

衍生相关工作

基于该数据集衍生的研究工作主要集中在模仿学习与强化学习算法的改进。RoboCOIN项目团队利用该数据集开发了集成化操作框架，推动了机器人操作技能的标准化评估。相关研究还拓展至多模态感知融合、动作序列预测等领域，为开源机器人社区贡献了可复现的基准测试方案。