AIRBOT_MMK2_play_the_guitar

这是一个基于LeRobot扩展格式的数据集，完全兼容LeRobot。该数据集包含AIRBOT_MMK2机器人进行吉他演奏动作的数据，并包含各种注释和特征以支持不同的学习方法。数据集被组织成剧集和块，并提供丰富的注释和元数据。

原始信息汇总

AIRBOT_MMK2_play_the_guitar 数据集概述

基本信息

• 数据集名称: AIRBOT_MMK2_play_the_guitar
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN、LeRobot
• 规模分类: 1K-10K

技术规格

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手
• 场景类型: 家庭环境
• 原子动作: 抓取、拾取、放置、拉动

数据集统计

指标	数值
总片段数	48
总帧数	8574
总任务数	1
总视频数	192
总分块数	1
分块大小	1000
帧率	30 FPS

任务描述

主要任务

用左手握住小吉他，用右手拨动琴弦，然后用左手放下小吉他

子任务

1. 结束
2. 用左手抓取尤克里里
3. 用左手抬起尤克里里
4. 空
5. 用左手将尤克里里放在桌子上
6. 用右手弹奏尤克里里

数据特征

视觉观测

• observation.images.cam_high_rgb: 视频，480×640×3，30 FPS，AV1编码
• observation.images.cam_left_wrist_rgb: 视频，480×640×3，30 FPS，AV1编码
• observation.images.cam_right_wrist_rgb: 视频，480×640×3，30 FPS，AV1编码
• observation.images.cam_third_view: 视频，480×640×3，30 FPS，AV1编码

状态与动作

• observation.state: float32，36维关节状态
• action: float32，36维关节动作

时间信息

• timestamp、frame_index、episode_index、index、task_index

标注信息

子任务标注

• 细粒度子任务分割和标注

场景标注

• 语义场景分类和描述

末端执行器标注

• 方向：运动方向分类
• 速度：速度大小分类
• 加速度：加速度大小分类

夹爪标注

• 夹爪模式：开/关状态标注
• 夹爪活动：活动状态分类

附加特征

• 末端执行器仿真姿态：6D姿态信息
• 夹爪开合尺度：连续夹爪开合测量

数据组织

文件结构

• 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

数据分割

• 训练集: 片段0-47

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

贡献者

• RoboCOIN团队

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，AIRBOT_MMK2_play_the_guitar数据集基于LeRobot框架进行扩展构建，采用双手机器人AIRBOT_MMK2与五指灵巧手执行吉他弹奏任务。数据采集通过48个完整交互片段实现，涵盖8574帧视觉序列，以30帧率记录四路同步视频流。数据以分块形式组织，每个数据块包含1000个交互单元，采用标准化Parquet格式存储机器人状态、动作轨迹及多模态注释信息。

特点

该数据集在机器人操作任务中展现出多维特征优势，集成四视角视觉观测系统，包含全局视角、双腕部视角及第三方视角视频流。注释体系涵盖精细化的子任务分割、场景语义分类以及末端执行器运动学参数，提供六维位姿、速度、加速度等运动特征。数据集特别标注了双手协调操作的抓取、拾取、放置、拉动等原子动作，并包含灵巧手开合状态与活动模式的全流程记录。

使用方法

研究人员可通过LeRobot兼容接口直接加载数据集，利用标准化数据路径访问训练集片段。数据使用需遵循Apache-2.0许可协议，支持机器人模仿学习、动作规划等研究场景。用户可基于多视角视频流与状态动作对构建感知控制模型，借助丰富的运动学注释开发精细操作策略。数据集提供完整的元数据描述与特征架构说明，确保研究过程的可复现性与结果可比性。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同执行复杂任务一直是研究的前沿课题。AIRBOT_MMK2_play_the_guitar数据集由RoboCOIN团队于2025年11月发布，聚焦于双手机器人弹奏尤克里里的精细操作任务。该数据集基于LeRobot框架构建，采用AIRBOT_MMK2机器人平台与五指灵巧手末端执行器，通过48个任务片段和8574帧数据，系统记录了抓取、拾取、放置、拉动等原子动作的完整执行过程。其核心研究价值在于为双手机器人协同操作提供了多视角视觉观测与丰富运动标注的基准数据，显著推动了家庭环境下机器人精细操作能力的发展。

当前挑战

该数据集致力于解决双手机器人精细操作中的动作协调与物体交互难题。构建过程中面临多重挑战：首先，双手机器人末端执行器的六维位姿同步控制需要精确的时空对齐，涉及12个自由度的连续运动规划；其次，五指灵巧手的多关节协同操作要求采集高维状态数据（36维关节空间），增加了数据采集与标注的复杂度；此外，多视角视觉系统（4个摄像头）的时空一致性维护，以及抓取力度、弹奏动作等精细操作的量化标注，都对数据质量提出了极高要求。这些挑战共同构成了机器人操作从单臂简单任务向双手复杂技能演进的关键技术瓶颈。

常用场景

经典使用场景

在机器人操作学习领域，该数据集聚焦于双手协作完成乐器演奏任务，通过48个完整交互序列记录了AIRBOT_MMK2机器人持握尤克里里并进行弹奏的全过程。其多视角视觉数据与精细的动作标注为模仿学习算法提供了典型范例，特别是左右机械臂协同操作时的时序协调与力度控制问题，成为研究双臂操作范式的标准基准。

衍生相关工作

基于该数据集衍生的研究已形成系列重要成果，包括RoboCOIN框架下的多任务操作学习系统与LeRobot生态中的行为克隆算法改进。这些工作通过利用数据集提供的精细动作分割与多视角视觉关联，开发出具有时序感知能力的操作策略生成模型，为后续的跨任务技能迁移与元学习研究奠定了数据基础。

数据集最近研究

最新研究方向

在机器人灵巧操作领域，AIRBOT_MMK2_play_the_guitar数据集正推动双手机器人协同控制的前沿探索。该数据集通过记录五指灵巧手弹奏尤克里里的完整流程，为复杂双手任务的分层学习提供了多模态标注支持。当前研究聚焦于基于端到端仿真姿态的动作生成算法，结合四视角视觉观测与关节级运动轨迹，旨在突破动态物体操作的时序规划瓶颈。随着家庭服务机器人对精细操作需求的增长，该数据集通过LeRobot兼容格式促进了模仿学习与强化学习的融合创新，为具身智能在非结构化环境中的适应性部署奠定了数据基石。