AIRBOT_MMK2_place_the_network_cable_and_mouse_box

AIRBOT_MMK2_place_the_network_cable_and_mouse_box数据集使用基于LeRobot的扩展格式，并与LeRobot完全兼容。该数据集包含46个总剧集、11195个总帧、1个总任务、184个总视频、1个总块和1000个块大小的数据。数据集包括以下场景类型：家庭。原子动作包括抓取、拾取和放置。数据集包括丰富的注释，包括子任务分割、场景级描述、末端执行器注释、抓取器注释和运动特征。数据集组织为1个训练集，包含剧集0到45。数据集结构遵循LeRobot格式，包含视频、状态数据、动作数据和元数据。功能模式包括视觉观察、状态和动作、时间信息、注释、运动特征和抓取器特征。数据集目录结构包括注释、数据、元数据和视频文件夹。该数据集发布在Apache-2.0许可协议下。

原始信息汇总

AIRBOT_MMK2_place_the_network_cable_and_mouse_box 数据集概述

基本信息

• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 数据集标签: RoboCOIN、LeRobot
• 规模分类: 10K-100K

技术规格

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手
• 场景类型: 家庭环境
• 原子动作: 抓取、拾取、放置

数据集统计

指标	数值
总情节数	46
总帧数	11195
总任务数	1
总视频数	184
总块数	1
块大小	1000
帧率	30

任务描述

主要任务

拾取鼠标盒并放入盒子中，然后拾取蓝色网线并放入盒子中

子任务

1. 异常
2. 结束
3. 用右手抓取蓝色网线
4. 用左手抓取鼠标盒
5. 空
6. 用右手将蓝色网线放入纸箱
7. 用左手将鼠标盒放入纸箱
8. 静态

数据特征

视觉观测

• 4个摄像头视角：高位RGB、左手腕RGB、右手腕RGB、第三方视角
• 视频格式：AV1编码，480×640分辨率，30帧/秒

状态与动作

• 观测状态：36维浮点数（双臂各6关节+双手各12关节）
• 动作数据：36维浮点数（双臂各6关节+双手各12关节）

时间信息

• 时间戳、帧索引、情节索引、任务索引

注释信息

• 子任务注释：5维整数
• 场景注释：1维整数

运动特征

• 末端执行器仿真姿态（状态和动作）：12维浮点数（左右手位置和方向各3维）
• 末端执行器方向、速度、加速度分类（状态和动作）

数据组织

文件结构

• 数据文件：Parquet格式，按块组织
• 视频文件：MP4格式，按摄像头视角组织
• 元数据：JSON格式

数据分割

• 训练集：情节0-45

作者与链接

贡献者

• RoboCOIN团队

相关链接

• 主页：https://flagopen.github.io/RoboCOIN/
• 论文：https://arxiv.org/abs/2511.17441
• 代码库：https://github.com/FlagOpen/RoboCOIN
• 问题反馈：https://github.com/FlagOpen/RoboCOIN/issues

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

版本信息

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，AIRBOT_MMK2数据集通过双五指灵巧手机器人系统进行构建，采用LeRobot扩展格式实现数据标准化。数据采集过程包含46个完整操作片段，总计11195帧视觉数据，通过四路高清摄像头以30帧率同步记录操作场景。数据以分块形式组织，每个数据块包含1000个操作序列，采用AV1编码压缩存储，确保数据高效存取与完整性。

特点

该数据集显著特征在于其多模态注释体系，涵盖末端执行器运动轨迹、抓取器状态及场景语义等多维度信息。数据集提供12维末端执行器位姿数据、运动方向分类及加速度量化指标，同时包含五指灵巧手的关节角度与抓取模式标注。四路视角视频数据分别捕捉全局场景、左右腕部操作细节及第三方观测视角，形成立体化操作记录体系。

使用方法

研究人员可通过LeRobot兼容接口直接加载数据集，利用标准化的数据分块机制访问训练集片段。数据使用遵循Apache 2.0许可协议，支持机器人模仿学习、动作分割算法验证等研究场景。用户可基于多维状态动作空间构建控制策略，或利用细粒度子任务标注开展操作序列分析，相关代码示例可在项目GitHub仓库获取。

背景与挑战

背景概述

在机器人操作研究领域，双手机器人协同作业一直是实现复杂任务的关键技术方向。AIRBOT_MMK2_place_the_network_cable_and_mouse_box数据集由RoboCOIN团队于2025年11月发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于家庭环境中的物体抓取与放置任务。通过AIRBOT_MMK2双手机器人平台，研究人员能够探索精细操作与双手协调控制的核心问题，其兼容LeRobot框架的设计进一步推动了机器人学习算法的标准化发展。该数据集通过46个完整操作序列和逾万帧多视角视觉数据，为具身智能研究提供了宝贵的真实世界交互记录。

当前挑战

该数据集致力于解决双手机器人在非结构化环境中执行精细操作任务的挑战，包括物体姿态估计的不确定性、双手动作时序协调的复杂性以及动态场景下的鲁棒性要求。在构建过程中，研究人员面临多模态数据同步的技术难题，需要精确对齐四路摄像头视频流与36维关节状态数据。同时，五指灵巧手的控制精度要求使得动作标注工作异常繁重，而保持操作轨迹自然性与任务多样性的平衡也成为数据采集阶段的重要考量。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过记录双手机器人执行网络电缆与鼠标盒放置任务的完整流程，为模仿学习与强化学习算法提供了标准化的训练与验证平台。其多视角视觉数据与精细的动作标注能够有效支撑机器人抓取、拾取与放置等基础操作的策略建模，尤其在家庭环境下的物品整理场景中展现出典型应用价值。

衍生相关工作

基于该数据集衍生的研究多集中于多模态机器人操作策略的跨场景迁移，例如结合LeRobot框架的动作泛化模型与RoboCOIN项目中的双臂协同控制算法。这些工作通过利用数据集中的分层任务标注与物理仿真数据，进一步开发了适用于动态环境的自适应抓取策略与端到端操作学习系统。

数据集最近研究

最新研究方向

在机器人操作学习领域，AIRBOT_MMK2数据集凭借其双手协同操作与精细动作标注特性，正推动多模态融合与分层策略研究的前沿探索。该数据集通过四视角视觉观测与六维末端执行器位姿数据，为模仿学习与强化学习算法提供了丰富的训练素材。当前研究聚焦于跨场景泛化能力的提升，结合LeRobot框架的兼容性优势，学者们致力于开发能够适应动态家居环境的智能抓取系统。随着RoboCOIN项目持续扩展数据规模，这一资源将加速具身智能在复杂任务中的决策精度与鲁棒性突破。