AIRBOT_MMK2_cup_storage

AIRBOT_MMK2_cup_storage数据集是基于LeRobot扩展格式的数据集，完全兼容LeRobot。该数据集包含丰富的注释，支持多种学习方法，如子任务分割、场景描述、末端执行器运动方向、速度和加速度分类，以及夹爪状态注释。数据集还包含丰富的视觉观察、状态和动作数据以及时间信息。数据集分为训练和测试两部分，并按照LeRobot格式组织。该数据集在Apache-2.0许可证下发布。

原始信息汇总

AIRBOT_MMK2_cup_storage 数据集概述

基本信息

• 许可证: Apache-2.0
• 语言: 英语、中文
• 任务类别: 机器人学
• 标签: RoboCOIN, LeRobot
• 规模类别: 10K-100K

技术规格

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手
• 场景类型: 家庭环境
• 原子动作: 抓取、拾取、放置

数据集统计

指标	数值
总情节数	48
总帧数	12246
总任务数	1
总视频数	192
总分块数	1
分块大小	1000
帧率	30 FPS

任务描述

主要任务

用一只手握住蓝色杯子并将其放在盘子上，然后用另一只手握住紫色杯子并将其放入蓝色杯子中。

子任务

1. 异常
2. 结束
3. 用左手抓取蓝色杯子
4. 用右手抓取紫色杯子
5. 空
6. 用左手将蓝色杯子放在盘子上
7. 用右手将紫色杯子放在蓝色杯子上

数据特征

视觉观测

• 4个相机视角：高视角RGB、左手腕RGB、右手腕RGB、第三视角
• 分辨率：480×640×3
• 编码格式：AV1
• 帧率：30 FPS

状态与动作

• 状态观测: 36维浮点数（包含左右臂和手部关节角度）
• 动作数据: 36维浮点数（包含左右臂和手部关节控制）

注释信息

• 子任务注释：细粒度子任务分割和标注
• 场景注释：语义场景分类和描述
• 末端执行器注释：方向、速度、加速度分类
• 夹爪注释：开/关状态、活动状态

运动特征

• 末端执行器仿真位姿（状态和动作）
• 末端执行器方向分类（状态和动作）
• 末端执行器速度分类（状态和动作）
• 末端执行器加速度分类（状态和动作）

数据组织

文件结构

• 数据文件: parquet格式，按分块组织
• 视频文件: MP4格式，按相机视角组织
• 元数据: JSON格式，包含数据集完整信息

数据划分

• 训练集: 情节0-47

作者与链接

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

版本历史

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，AIRBOT_MMK2_cup_storage数据集采用扩展的LeRobot格式构建，确保了与现有机器人学习框架的完全兼容性。该数据集通过AIRBOT_MMK2双手机器人平台采集，配备五指灵巧手执行器，在家庭场景中系统记录杯具收纳任务。数据组织采用分块存储机制，将48个任务片段划分为1个数据块，每个片段包含多模态观测数据，包括四路高清视频流和36维关节状态信息，所有数据以Parquet格式高效存储并辅以结构化元数据描述。

特点

该数据集的核心特征体现在其丰富的多模态注释体系上，不仅包含12246帧视觉观测数据，还提供了精细的动作语义标注。四路相机视角覆盖全局、左右腕部和第三视角，以30帧率捕捉操作全过程。数据集创新性地集成了末端执行器运动学特征，包括6D位姿、方向分类、速度与加速度量化指标，以及抓取器开合状态监测。这些多维特征共同构建了一个能够支持从低级运动控制到高级任务理解的综合研究平台。

使用方法

研究者可通过LeRobot兼容接口直接加载该数据集，利用其标准化的数据路径模式访问训练片段。数据使用遵循分块索引机制，通过指定片段编号即可获取对应的多模态序列。模型开发时可灵活调用视觉观测、关节状态和动作指令等模块，结合丰富的运动学注释进行行为克隆或强化学习算法训练。数据集提供的细粒度子任务分割支持分层策略学习，末端执行器位姿信息则便于进行运动规划算法的验证与改进。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同作业一直是研究热点，AIRBOT_MMK2_cup_storage数据集由RoboCOIN团队于2025年发布，聚焦于家庭环境下的双手协同操作任务。该数据集基于LeRobot框架构建，采用AIRBOT_MMK2型机器人配合五指灵巧手，专门针对杯具收纳这一典型日常操作场景。通过48个任务片段和12246帧多视角视频数据，为机器人精细操作研究提供了包含抓取、拾取、放置等原子动作的完整行为序列，显著推动了具身智能在复杂操作任务中的发展。

当前挑战

该数据集致力于解决双手机器人协同操作中的动作协调与物体精确定位难题，其核心挑战在于双手动作的时空同步与力控平衡。构建过程中面临多模态数据融合的复杂性，需同步处理四路高清视频流与36维关节状态数据；精细标注工作涉及末端执行器位姿、速度、加速度等多维度运动特征，对标注一致性与数据质量提出极高要求；同时模拟环境到真实世界的迁移差距，以及五指灵巧手在非结构化环境中的适应性，均为数据集构建带来显著挑战。

常用场景

解决学术问题

该数据集有效解决了机器人操作学习中的若干关键学术问题。通过精细标注的末端执行器位姿、速度、加速度等运动特征，为研究机器人操作的动作表征与运动规划提供了数据支撑。其包含的子任务分割与场景标注，有助于探索复杂操作任务的分层理解与执行策略。同时，双手协同操作的数据结构为解决双臂协调控制中的时序同步与避碰规划等挑战性问题提供了研究基础。

衍生相关工作

围绕该数据集已衍生出多项重要的研究工作。基于RoboCOIN项目框架，研究者开发了多种双手机器人操作学习算法，特别是在模仿学习与强化学习领域取得了显著进展。数据集提供的多模态观测与精细标注，促进了端到端操作策略学习、动作序列生成等方向的方法创新。同时，其标准化的数据格式也为不同算法间的公平比较提供了基准，推动了机器人操作学习社区的协同发展。