AIRBOT_MMK2_place_the_pliers_and_wallpaper_knife

这是一个基于LeRobot格式的机器人数据集，完全兼容LeRobot。数据集专注于机器人操作任务，包括使用一只手拿起钳子并将其放置在白色盖子上，然后用另一只手拿起壁纸刀并将其放置在同一个盖子上。数据集包括丰富的注释，以支持各种学习方法，如子任务分割、场景描述、末端执行器运动方向和速度、抓手控制等。数据集被组织成训练和测试分割，数据以Parquet格式存储。数据集在Apache-2.0许可下发布。

原始信息汇总

AIRBOT_MMK2_place_the_pliers_and_wallpaper_knife 数据集概述

📋 基本信息

• 数据集名称: AIRBOT_MMK2_place_the_pliers_and_wallpaper_knife
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN、LeRobot
• 规模类别: 1K-10K

🤖 机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

🏠 场景类型

• 家庭场景

🎯 任务描述

主要任务

用一只手拿起钳子放入白色盖子中，然后用另一只手拿起壁纸刀放入白色盖子中

子任务

包含8个不同的子任务：

1. 异常
2. 结束
3. 用左手抓取钳子
4. 用右手抓取壁纸刀
5. 空
6. 用左手将钳子放入白色篮子
7. 用右手将壁纸刀放入白色篮子
8. 静态

📊 数据集统计

指标	数值
总片段数	50
总帧数	8236
总任务数	1
总视频数	200
总分块数	1
分块大小	1000
帧率	30

🎥 视觉数据

相机视角

• 高视角RGB相机
• 左手腕RGB相机
• 右手腕RGB相机
• 第三视角相机

视频规格

• 分辨率: 480×640
• 帧率: 30 FPS
• 编码格式: AV1

📁 数据结构

文件组织

• 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

数据分割

• 训练集: 片段0-49

🏷️ 可用标注

子任务标注

• 细粒度子任务分割和标签

场景标注

• 语义场景分类和描述

末端执行器标注

• 运动方向分类
• 速度大小分类
• 加速度大小分类

夹爪标注

• 开/关状态标注
• 活动状态分类

附加特征

• 末端执行器仿真姿态（6D姿态信息）
• 夹爪开度尺度

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 项目页面: https://flagopen.github.io/RoboCOIN/
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📚 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

📌 版本信息

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，该数据集采用AIRBOT_MMK2双手机器人平台进行构建，通过五指灵巧手执行精细操作任务。数据采集过程包含50个完整操作片段，总计8236帧视觉数据，以30帧每秒的采样率记录多视角视频序列。数据集采用LeRobot扩展格式进行组织，将数据划分为单个数据块，每个数据块包含1000个数据单元，确保数据结构的规范性与兼容性。

特点

该数据集在机器人操作数据中展现出显著的多模态特性，集成四个不同视角的视觉观测数据，包括高位视角、左右腕部视角及第三方视角。其标注体系极为丰富，涵盖子任务分割、场景分类、末端执行器运动参数等多维度信息。特别值得注意的是，数据集提供完整的6D末端执行器位姿信息、抓取器状态参数以及运动学特征，为复杂操作任务的深度分析奠定坚实基础。

使用方法

研究人员可通过标准数据加载流程访问该数据集，按照指定路径模式读取parquet格式的状态与动作数据，同时获取对应视频文件。数据集支持端到端的机器人操作策略学习，用户可利用多视角视觉输入与丰富的状态标注训练感知-动作映射模型。对于算法验证，建议按照官方提供的训练划分使用前50个操作片段，确保实验结果的可靠性与可复现性。

背景与挑战

背景概述

作为机器人操作领域的重要数据资源，AIRBOT_MMK2_place_the_pliers_and_wallpaper_knife数据集由RoboCOIN团队于2025年11月正式发布，其构建基于LeRobot框架的扩展格式。该数据集聚焦于双手机器人协同操作的核心研究问题，通过AIRBOT_MMK2机器人平台与五指灵巧手的组合，系统记录家庭场景下工具抓取与放置的完整操作序列。数据集包含50个任务片段、8236帧多维观测数据，通过四路相机视角与丰富的运动标注，为机器人模仿学习与操作策略研究提供了高精度基准。

当前挑战

在机器人操作领域，双手机器人的动态协调与精细抓取始终是核心难题。该数据集针对工具操作任务中存在的抓取姿态多样性、双手动作时序配合等挑战，通过多视角视频与36维关节状态数据构建解决方案。数据构建过程中需克服五指灵巧手的高自由度控制复杂性，同时保证四路相机时序同步与12维末端执行器位姿标注的精确性。面对家庭环境的光照变化与物体遮挡，数据采集还需维持操作轨迹的连贯性与标注一致性。

常用场景

经典使用场景

在机器人操作学习领域，该数据集为双手机器人协同操作提供了标准化实验平台。其核心应用聚焦于家庭环境中钳子与壁纸刀的抓取放置任务，通过多视角视觉观测与精细动作标注，为模仿学习与强化学习算法提供了真实世界交互数据。研究人员能够基于该数据集训练机器人执行复杂的双手协调动作，验证抓取策略的有效性与任务分解的合理性。

实际应用

在工业自动化与家庭服务机器人领域，该数据集支撑了工具整理、物料分拣等实际场景的技术落地。基于双手抓取放置的标准化任务范式，可延伸至仓储物流中的货物搬运、医疗辅助中的器械传递等应用。其兼容LeRobot框架的特性使得算法部署能够快速适配真实机器人平台，为服务机器人的精细化操作能力提供了可靠的数据支撑。

衍生相关工作

该数据集衍生出多项机器人学习领域的经典研究，包括基于多视角视觉的抓取姿态预测模型、双手动作序列生成算法以及任务导向的强化学习框架。RoboCOIN项目团队进一步扩展了数据集的标注体系，推动了动态运动基元与语义操作网络的融合研究。相关成果为开源机器人社区提供了可复现的基准测试，促进了跨机构算法比较与技术创新。