AIRBOT_MMK2_diamond_storage

这是一个基于LeRobot的扩展格式的数据集，完全兼容LeRobot。数据集使用AIRBOT_MMK2机器人，代码库版本为v2.1，末端执行器类型为五指手。数据集覆盖了家庭场景类型，并包括抓取、拾取、放置和覆盖等原子动作。数据集包含50个总剧集、9131帧、1个总任务、200个视频、1个总块、1000个块大小和30帧每秒的帧率。数据集提供了丰富的注释，支持多种学习方法，包括子任务分割、场景描述、末端执行器运动方向、速度和加速度分类、抓手模式、抓手活动状态分类、末端执行器仿真位姿、抓手打开尺度和其他附加特征。数据集被组织成训练集和测试集，并遵循LeRobot格式。数据集包括视频、状态数据、动作数据和元数据，并以Parquet格式存储。数据集还包括各种注释文件和元信息文件。数据集遵循Apache-2.0许可证。

原始信息汇总

AIRBOT_MMK2_diamond_storage 数据集概述

📋 数据集基本信息

• 数据集名称: AIRBOT_MMK2_diamond_storage
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 规模类别: 1K-10K
• 格式兼容性: 基于LeRobot扩展格式，完全兼容LeRobot

🤖 机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

🏠 场景类型

• 家庭场景

🎯 任务描述

主要任务

拾取钻石并将其放入盒子中，然后关闭盖子

子任务

1. 用左手抓爪关闭盒子盖子
2. 结束
3. 用右手抓爪抓取钻石戒指
4. 空
5. 用右手抓爪将钻石戒指放入盒子中

⚡ 原子动作

• 抓取
• 拾取
• 放置
• 覆盖

📊 数据集统计

指标	数值
总片段数	50
总帧数	9131
总任务数	1
总视频数	200
总块数	1
块大小	1000
帧率	30

🎥 视觉数据

相机视角

• 4个相机视角
• 分辨率: 480×640
• 帧率: 30 FPS
• 编码格式: av1

具体视角

• cam_high_rgb
• cam_left_wrist_rgb
• cam_right_wrist_rgb
• cam_third_view

🏷️ 可用标注

子任务标注

• 子任务分割: 细粒度的子任务分割和标注

场景标注

• 场景级描述: 语义场景分类和描述

末端执行器标注

• 方向: 机器人末端执行器运动方向分类
• 速度: 操作过程中的速度幅度分类
• 加速度: 运动分析的加速度幅度分类

抓爪标注

• 抓爪模式: 抓爪开/关状态标注
• 抓爪活动: 活动状态分类（活动/非活动）

附加特征

• 末端执行器仿真位姿: 仿真空间中末端执行器的6D位姿信息（状态和动作）
• 抓爪开度尺度: 连续抓爪开度测量（状态和动作）

📁 数据结构

文件组织

• 数据文件路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征架构

视觉观测

• 4个RGB视频流，分辨率480×640，30FPS

状态和动作

• observation.state: float32[36] - 机器人关节状态
• action: float32[36] - 机器人动作命令

运动特征

• 末端执行器仿真位姿（状态和动作）
• 末端执行器方向、速度、加速度分类

📂 数据分割

• 训练集: 片段0-49

👥 作者信息

• 贡献者: RoboCOIN - RoboCOIN团队

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📄 引用信息

如需在研究中使用此数据集，请引用： bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，AIRBOT_MMK2_diamond_storage数据集基于LeRobot扩展格式构建，采用AIRBOT_MMK2双手机器人配合五指灵巧手执行钻石存储任务。数据通过四路视角同步采集，包含9131帧视觉观测与36维关节状态动作数据，以分块存储机制组织成50个完整操作序列，每个序列涵盖抓取、放置等原子动作的连续执行过程。

特点

该数据集显著特征在于多模态注释体系的完整性，不仅提供四路高清视频流与机器人状态动作轨迹，更具备精细的末端执行器运动学标注。其包含方向、速度、加速度分类数据及六维位姿信息，同时涵盖抓取器开合状态与任务分段标注，为模仿学习与强化学习算法提供了丰富的监督信号。多视角视觉数据与物理状态的高度同步确保了感知与控制模块的有效关联。

使用方法

研究人员可通过标准数据加载接口读取parquet格式的状态动作序列与MP4格式的多视角视频，利用预定义的数据划分策略进行模型训练与验证。该数据集支持端到端策略学习、动作分割分析等研究任务，其兼容LeRobot生态的特性使得用户能快速集成至现有机器人学习流程中，通过调用丰富的注释信息实现多层次监督学习。

背景与挑战

背景概述

机器人操作领域长期面临着复杂环境交互的挑战，AIRBOT_MMK2_diamond_storage数据集由RoboCOIN团队于2025年构建，聚焦于双手机器人精细操作任务。该数据集以AIRBOT_MMK2机器人为载体，配备五指灵巧手末端执行器，通过家庭场景下的抓取、拾取、放置等原子动作，系统记录钻石存储任务的完整操作流程。其核心价值在于提供了多视角视觉观测与高维度状态动作数据的同步采集，为机器人模仿学习与策略泛化研究奠定了数据基础。

当前挑战

双手机器人协调操作需解决末端执行器轨迹规划与力控精度的双重难题，本数据集通过标注六维位姿、速度加速度等运动特征应对动态环境适应性挑战。构建过程中面临多模态数据同步采集的技术瓶颈，四路摄像头与36维关节数据的实时对齐要求精密的时间戳管理。数据规模方面，9131帧视频与50条操作序列的标注工作需平衡标注粒度与成本效益，而家庭场景的照明变化与遮挡问题进一步增加了视觉感知的复杂性。

常用场景

经典使用场景

在机器人操作学习领域，该数据集聚焦于家庭环境下的精细化物体操控任务。其核心应用场景为双手机器人协同完成钻石拾取与存储的完整操作流程，涵盖抓取、拾取、放置及覆盖等基础动作序列。通过多视角视觉观测与丰富的运动标注，该数据集为模仿学习与强化学习算法提供了标准化的训练与评估平台。

解决学术问题

该数据集有效解决了机器人操作中动作分割与任务规划的学术难题。其精细的末端执行器运动标注与子任务划分机制，为研究多模态感知与动作序列的对应关系提供了数据支撑。通过模拟真实家居场景下的双手协调操作，该数据集填补了复杂物体精细化操作研究的数据空白，推动了机器人操作技能泛化能力的发展。

衍生相关工作

基于该数据集衍生的研究主要集中于多智能体协同操作与跨模态表示学习。RoboCOIN项目团队进一步扩展了双手操作的数据规模与任务复杂度，LeRobot框架则利用该数据集优化了端到端操作策略的学习效率。相关研究在动作序列预测、操作技能迁移等方向取得了显著进展，为机器人操作学习建立了新的基准体系。