AIRBOT_MMK2_mobile_calculator_box

AIRBOT_MMK2_mobile_calculator_box是一个基于LeRobot扩展格式的数据集，完全兼容LeRobot。该数据集包含丰富的注释和功能，支持机器人学习中的多种学习方法。数据集使用Apache-2.0许可证发布，包含150个总剧集、34396个总帧数、2个总任务、600个总视频和1个总块。数据集结构遵循LeRobot格式，包含视频、状态数据、动作数据、元数据和注释。

原始信息汇总

AIRBOT_MMK2_mobile_calculator_box 数据集概述

基本信息

• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 数据集标签: RoboCOIN、LeRobot
• 规模分类: 10K-100K

技术规格

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手
• 场景类型: 家庭环境
• 原子动作: 抓取、放置、拾取

数据集统计

指标	数值
总情节数	150
总帧数	34396
总任务数	2
总视频数	600
总分块数	1
分块大小	1000
帧率	30

任务描述

主要任务

• 一只手从桌子一侧拿起白色盖子传递给另一只手，然后将盖子放在桌子另一侧
• 一只手从桌子一侧拿起计算器盒子传递给另一只手，然后将盒子放在桌子另一侧

子任务

包含11个不同的子任务：

1. 结束
2. 用左手抓取计算器盒子
3. 用左手抓取白色盒子
4. 用左手抓取黄色书本
5. 空
6. 将计算器盒子传递给右手
7. 将白色盒子传递给右手
8. 将黄色书本传递给右手
9. 用右手将计算器盒子放置在桌子中央
10. 用右手将白色盒子放置在桌子中央
11. 用右手将黄色书本放置在桌子中央

数据特征

视觉观测

• 4个相机视角:
  • cam_high_rgb
  • cam_left_wrist_rgb
  • cam_right_wrist_rgb
  • cam_third_view
• 视频规格: 480×640分辨率，30FPS，AV1编码

状态与动作

• 状态观测: float32类型，36维关节状态
• 动作数据: float32类型，36维关节控制

注释信息

• 子任务注释: 细粒度子任务分割和标注
• 场景注释: 语义场景分类和描述
• 末端执行器注释: 方向、速度、加速度分类
• 夹爪注释: 开闭状态、活动状态

运动特征

• 末端执行器仿真位姿: 6D位姿信息（位置和方向）
• 夹爪开度尺度: 连续夹爪开度测量

数据组织

文件结构

• 数据文件: Parquet格式，按分块组织
• 视频文件: MP4格式，按相机视角组织
• 元数据: JSON格式的完整数据集信息

数据分割

• 训练集: 情节0-149

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

贡献者

• RoboCOIN团队: https://flagopen.github.io/RoboCOIN/

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，AIRBOT_MMK2_mobile_calculator_box数据集采用扩展的LeRobot格式构建，通过AIRBOT_MMK2双手机器人平台在家庭环境中执行物体传递任务。数据采集过程涵盖150个完整操作序列，总计34396帧视觉与运动数据，以30帧率的多视角视频和36维关节状态动作向量记录。数据以分块形式组织为Parquet文件，每个块包含1000个操作片段，确保了数据存储的高效性与完整性。

特点

该数据集在机器人操作领域展现出多模态融合的显著特征，集成四路高清摄像头视角与精细的末端执行器运动标注。其标注体系涵盖11种细粒度子任务分割，包括抓取、传递、放置等原子动作，并配备六维末端位姿、速度加速度分类及夹爪状态监测。数据集提供丰富的时空上下文信息，包含场景语义标注与运动轨迹分析，为双手机器人协同操作研究奠定了坚实基础。

使用方法

研究者可通过LeRobot框架直接加载该数据集，利用标准化的数据加载器访问多模态观测流。训练阶段可调用150个完整操作序列，通过解析视觉观测、关节状态与动作指令的对应关系构建控制策略。数据使用支持端到端模仿学习与分层强化学习，用户可基于子任务标注进行技能分解，或利用运动特征开发轨迹预测模型，所有数据均遵循Apache 2.0许可协议开放使用。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同任务的研究正逐渐成为前沿方向。AIRBOT_MMK2_mobile_calculator_box数据集由RoboCOIN团队于2025年11月发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于家庭环境下的双手物体传递与放置任务。通过AIRBOT_MMK2机器人平台与五指灵巧手的配合，数据集记录了包含抓取、传递、放置等原子动作的150个完整操作序列，涵盖计算器盒、白色盖子等日常物体的精细化操作。其基于LeRobot框架的扩展格式设计，为机器人模仿学习与策略泛化研究提供了多视角视觉观测与多维运动标注的标准化数据支撑。

当前挑战

双手机器人操作面临动作协调性与任务复杂度的双重挑战。在领域问题层面，双手物体传递需解决动态抓握力控制、运动轨迹同步及避碰规划等关键难题，特别是在非结构化家庭环境中保持操作的柔顺性与精确性。数据集构建过程中，多传感器数据同步与标注一致性成为主要障碍，四路摄像头视角的时空对齐、五指灵巧手关节状态的高频采集，以及六维末端执行器位姿的精确标注均需克服硬件延迟与数据漂移问题。此外，跨模态数据的标准化整合与长时序动作片段的语义分割，亦对数据质量与算法可解释性提出更高要求。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过双手机械臂协同执行抓取、传递和放置等基础动作，为模仿学习与强化学习算法提供了标准化的训练范例。其多视角视觉观测与精细的动作标注体系，能够有效支撑机器人从感知到控制的端到端策略学习，尤其在双手协调操作任务中展现出典型应用价值。

解决学术问题

该数据集针对机器人操作中双手协同控制的复杂动力学建模问题，通过提供高精度末端执行器位姿、速度及加速度等多模态标注，解决了传统方法在动作分割与运动规划中的标注稀疏性难题。其丰富的子任务划分与场景语义标注，为研究跨任务泛化与长期动作序列建模提供了关键数据支撑，显著推进了机器人操作技能的迁移学习研究。

衍生相关工作

基于该数据集衍生的研究工作主要集中在双手操作策略的模仿学习框架优化，例如结合时空注意力机制的动作分割网络，以及基于多视角视觉输入的端到端控制策略生成。这些工作通过利用数据集提供的精细运动标注与多模态观测数据，显著提升了机器人操作策略的平滑性与任务完成率，为后续双臂协调控制研究设立了重要基准。