AIRBOT_MMK2_storage_toy_cars_and_cookies

AIRBOT_MMK2_storage_toy_cars_and_cookies数据集基于LeRobot格式，与LeRobot完全兼容。该数据集专为AIRBOT_MMK2机器人设计，配备五指手末端执行器，用于机器人操作任务。数据集包括各种注释和特征，如子任务分割、场景描述、末端执行器运动方向、速度和加速度，以及抓手模式和活动状态。数据集分为训练集和测试集，并遵循Apache-2.0许可协议发布。

原始信息汇总

AIRBOT_MMK2_storage_toy_cars_and_cookies 数据集概述

基本信息

• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 数据集规模: 1K-10K
• 代码库版本: v2.1
• 机器人类型: AIRBOT_MMK2
• 末端执行器类型: 五指手

数据集统计

指标	数值
总情节数	50
总帧数	8388
总任务数	1
总视频数	200
总分块数	1
分块大小	1000
帧率	30

场景与动作

场景类型

• 家庭环境

原子动作

• 抓取
• 拾取
• 放置

任务描述

主要任务

用一只手拿起红色玩具车，另一只手拿起蓝色包装饼干，然后将两个物品放在圆形盖子上。

子任务

1. 异常
2. 结束
3. 用左手抓取玩具车，用右手抓取饼干
4. 用左手抬起玩具车，用右手抬起饼干
5. 空
6. 用右手将饼干放在粉色盘子上
7. 用左手将玩具车放在粉色盘子上
8. 静态

数据特征

视觉观察

• 4个相机视角：高视角RGB、左手腕RGB、右手腕RGB、第三视角
• 分辨率：480×640×3
• 帧率：30 FPS
• 编码格式：av1

状态与动作

• 观察状态：36维浮点数（关节位置）
• 动作：36维浮点数（关节控制）

注释信息

• 子任务注释
• 场景注释
• 末端执行器模拟姿态（状态和动作）
• 末端执行器方向分类
• 末端执行器速度分类
• 末端执行器加速度分类
• 夹爪模式（开/关状态）
• 夹爪活动状态
• 夹爪开合尺度

数据组织

文件结构

• 数据文件：Parquet格式
• 视频文件：MP4格式
• 分块组织：1个分块，每块1000个情节

数据分割

• 训练集：情节0-49

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

作者与引用

贡献者

• RoboCOIN团队

引用格式

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

版本信息

• v1.0.0 (2025年11月): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，该数据集基于LeRobot框架进行扩展构建，采用AIRBOT_MMK2双手机器人平台与五指灵巧手末端执行器。数据采集过程涵盖50个完整操作片段，通过四路高清摄像头以30帧率同步记录家庭环境下的双手协同操作过程。数据以分块形式组织为Parquet格式，包含8388帧视觉观测与36维关节状态动作数据，并配备精细的时序标注与运动特征解析。

特点

该数据集以双手物品操作为核心特色，完整呈现抓取红色玩具车与蓝色包装饼干的协同任务流程。其多视角视觉系统涵盖高角度、左右腕部及第三视角摄像头，提供480×640分辨率的立体观测。运动特征标注体系包含末端执行器六维位姿、速度加速度分类及抓取器开合状态，支持精细的动作分解与动力学分析。八类子任务标注与场景语义描述为模仿学习与策略研究提供结构化基础。

使用方法

研究者可通过LeRobot兼容接口直接加载数据集，利用预定义的训练划分进行算法验证。数据读取遵循标准路径模式，支持按片段索引获取视觉流与状态动作序列。多维标注信息可用于行为克隆、强化学习等任务，末端执行器运动特征便于构建动力学模型。建议结合原始论文中的基准方法，开发双手协调控制与物品转移的新型算法。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同控制一直是研究的热点与难点。AIRBOT_MMK2_storage_toy_cars_and_cookies数据集由RoboCOIN团队于2025年11月发布，依托LeRobot框架构建，专注于家庭环境下的双手抓取与放置任务。该数据集采用AIRBOT_MMK2机器人平台与五指灵巧手末端执行器，通过50个任务片段、8388帧多视角视频数据，系统记录了抓取玩具车与饼干的完整操作流程。其核心研究目标在于解决双手协同操作中的动作分割、物体识别与精准放置等关键问题，为机器人模仿学习与强化学习算法提供了高质量的基准数据。

当前挑战

构建过程中面临多模态数据同步的复杂性，四路摄像头视角与36维关节状态数据需实现毫秒级精准对齐。双手协同操作对动作时序提出严苛要求，末端执行器的六维位姿与抓握力度需保持动态平衡。数据集规模受限导致模型泛化能力不足，家庭环境中光照变化与物体遮挡增加了视觉感知的难度。精细操作任务要求算法同时处理抓取力度控制、路径规划与防碰撞机制，高维动作空间中的探索效率成为深度强化学习应用的主要瓶颈。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过双手机械臂协同抓取玩具车与饼干的家庭场景任务，为模仿学习与强化学习算法提供了标准化测试平台。其多视角视频流与精细的动作标注序列，能够有效支撑端到端策略网络的训练过程，特别是在双手协调操作与物体转移等复杂任务中展现出色性能。

实际应用

面向家庭服务机器人的实际需求，该数据集所构建的物体抓取与放置范式可直接应用于仓储分拣、智能家居等场景。其包含的抓取力度控制与物体定位数据，对开发适应日常物品操作的鲁棒控制系统具有重要参考价值，尤其为双臂机器人在非结构化环境中的部署提供了实践依据。

衍生相关工作

基于该数据集衍生的研究已拓展至多层次机器人学习框架，例如结合LeRobot生态开发的分层强化学习系统。相关成果进一步催生了面向复杂操作任务的元学习方案，并在RoboCOIN项目推动下形成了涵盖仿真到实物的跨领域基准测试体系。