AIRBOT_MMK2_place_the_piano_and_the_needle-nose_pliers

AIRBOT_MMK2数据集是基于LeRobot格式的扩展数据集，与LeRobot完全兼容。该数据集用于机器人研究，特别是专注于操作任务。它包括RGB视频、机器人状态信息、动作命令以及丰富的子任务、场景和末端执行器的注释。数据集分为训练和测试两部分，并组织成块以提高数据管理效率。数据集还包括元信息文件，用于进一步了解其结构和功能。

原始信息汇总

AIRBOT_MMK2_place_the_piano_and_the_needle-nose_pliers 数据集概述

📋 基本信息

• 数据集名称: AIRBOT_MMK2_place_the_piano_and_the_needle-nose_pliers
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 数据集标签: RoboCOIN, LeRobot
• 规模类别: 10K-100K

🤖 机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

🏠 场景类型

• 家庭环境

⚡ 原子动作

• 抓取
• 放置
• 拾取

📊 数据集统计

指标	数值
总情节数	49
总帧数	25318
总任务数	1
总视频数	196
总分块数	1
分块大小	1000
帧率	30

🎯 任务描述

主要任务

用一只手拿起钢琴并放在白色盖子上，然后用另一只手拿起尖嘴钳并放在白色盖子上

子任务

1. 异常
2. 结束
3. 用右夹爪抓取钳子
4. 用左夹爪抓取木琴
5. 空
6. 用右夹爪将钳子放在白色盖子上
7. 用左夹爪将木琴放在白色盖子上
8. 静态

📁 数据集结构

文件组织

• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

数据拆分

• 训练集: 情节 0:48

🎥 视觉观测

• observation.images.cam_high_rgb: 视频 (480×640×3, 30fps, AV1编码)
• observation.images.cam_left_wrist_rgb: 视频 (480×640×3, 30fps, AV1编码)
• observation.images.cam_right_wrist_rgb: 视频 (480×640×3, 30fps, AV1编码)
• observation.images.cam_third_view: 视频 (480×640×3, 30fps, AV1编码)

🔬 特征架构

状态与动作

• observation.state: float32 (36维关节状态)
• action: float32 (36维动作命令)

时间信息

• 时间戳、帧索引、情节索引、任务索引

注释信息

• 子任务注释、场景注释

运动特征

• 末端执行器仿真位姿（状态和动作）
• 末端执行器方向分类
• 末端执行器速度分类
• 末端执行器加速度分类

夹爪特征

• 夹爪模式（开/关状态）
• 夹爪活动状态
• 夹爪开合尺度

📚 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📌 版本信息

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，该数据集采用AIRBOT_MMK2双手机器人平台，通过五指灵巧手执行精细操作任务。数据采集过程涵盖49个完整操作片段，总计25318帧视觉数据，以30帧/秒的采样率记录多视角视频流。数据集遵循LeRobot扩展格式标准，采用分块存储机制，将数据组织为单个包含1000个片段的块结构，确保数据管理的系统性和高效性。

特点

该数据集的核心特征体现在多模态数据融合与精细标注体系。视觉观测包含四个独立视角的RGB视频流，分别来自高位相机、左右腕部相机及第三方视角，分辨率均为480×640。运动特征方面提供末端执行器的六维位姿信息，涵盖位置与方向数据，并配备速度、加速度等运动学参数标注。特别值得关注的是双手协同操作的精细记录，包括36维关节状态与动作空间，以及抓取器开合状态的连续量化表征。

使用方法

针对机器人学习研究需求，该数据集支持端到端的模仿学习与强化学习范式。研究者可通过标准化的Parquet格式直接加载状态-动作对序列，利用多视角视觉输入训练感知-控制联合模型。数据集提供的细粒度子任务标注支持分层强化学习架构，末端执行器的运动学特征便于动力学建模分析。与LeRobot框架的完全兼容性确保用户能够直接接入现有训练流程，加速机器人操作策略的开发与验证进程。

背景与挑战

背景概述

在机器人操作研究领域，双手机器人协同任务执行一直是提升自主智能体环境交互能力的关键方向。AIRBOT_MMK2_place_the_piano_and_the_needle-nose_pliers数据集由RoboCOIN团队于2025年发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于家庭场景下的双手物体放置任务。其核心研究问题在于解决复杂环境中双手机器人的精细操作与任务分解，通过集成多视角视觉观测与高维动作轨迹，为模仿学习与强化学习算法提供了真实物理交互数据。该数据集基于LeRobot框架构建，包含49个任务片段与超过2.5万帧数据，显著推动了具身智能领域在双手协同操作方面的研究进展。

当前挑战

该数据集致力于解决双手机器人操作中任务规划与动作协调的核心难题，其挑战体现在多层级操作序列的时序依赖性与动态环境适应性。构建过程中面临双手动作同步采集的技术瓶颈，需通过四路摄像头实现毫米级末端轨迹追踪，同时克服多模态数据对齐与高维状态空间标注的复杂性。此外，精细操作任务要求对抓取力度、物体形变等物理特性进行建模，而真实场景的照明变化与遮挡问题进一步增加了数据采集与标注的难度。

常用场景

经典使用场景

在机器人操作学习领域，该数据集为双手机器人协同操作提供了标准化的实验平台。其核心应用聚焦于双臂协同抓取与放置任务的算法验证，通过精细标注的抓取、拾取和放置等原子动作序列，为模仿学习与强化学习算法提供丰富的训练样本。多视角视觉观测与末端执行器运动轨迹的同步记录，使得研究者能够深入分析双臂协同操作中的时空协调机制。

实际应用

在家庭服务机器人领域，该数据集支撑了物体整理与摆放等实际应用的算法开发。基于数据集训练的模型可应用于智能家居环境中物品的自动化归置，特别是针对不同形状、重量物体的双手协调操作场景。工业制造中的零部件装配流程也能从中受益，数据集提供的精细操作示范为自动化生产线的柔性操作技能迁移提供了可靠的数据支撑。

衍生相关工作

围绕该数据集衍生的研究工作主要集中于双臂协同操作的算法创新。基于LeRobot框架的扩展研究推动了分层策略学习在复杂操作任务中的应用，多视角视觉与本体感觉的融合方法提升了操作策略的泛化能力。相关研究还探索了从演示数据中提取操作技能模板的技术，为机器人操作知识的积累与迁移学习提供了新的范式，进一步丰富了机器人学习领域的方法体系。