AIRBOT_MMK2_place_the_shark_toys_and_gold_bars

这是一个基于AIRBOT_MMK2机器人的数据集，用于研究机器人操作。数据集包含了机器人操作视频、状态数据、动作数据等，并提供了丰富的注释信息，如子任务分割、场景描述、末端执行器方向、速度、加速度、夹爪状态等。数据集的组织结构遵循LeRobot格式，并包含了详细的元数据信息。

原始信息汇总

AIRBOT_MMK2_place_the_shark_toys_and_gold_bars 数据集概述

📋 基本信息

• 数据集名称: AIRBOT_MMK2_place_the_shark_toys_and_gold_bars
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 规模分类: 1K-10K

🤖 机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

🏠 场景类型

• 家庭环境

🎯 任务描述

主要任务

用一只手拿起鲨鱼玩偶放入纸盒盖中，然后用另一只手拿起桌上的金条放入纸盒盖中

子任务

包含7个不同的子任务：

1. 结束
2. 用右手夹爪抓取金条
3. 用左手夹爪抓取鲸鱼
4. 空
5. 用右手夹爪将金条放置在纸盒上
6. 用左手夹爪将鲸鱼放置在纸盒上
7. 静态

📊 数据集统计

指标	数值
总情节数	50
总帧数	6486
总任务数	1
总视频数	200
总分块数	1
分块大小	1000
帧率	30

📁 数据结构

文件组织

• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

数据拆分

• 训练集: 情节0-49

🎥 视觉观测

包含4个摄像头视角：

• 高位RGB摄像头
• 左手腕RGB摄像头
• 右手腕RGB摄像头
• 第三方视角摄像头

所有视频规格：

• 分辨率: 480×640×3
• 帧率: 30 FPS
• 编码: AV1

🏷️ 可用标注

子任务标注

• 细粒度子任务分割和标注

场景标注

• 语义场景分类和描述

末端执行器标注

• 运动方向分类
• 速度幅度分类
• 加速度幅度分类

夹爪标注

• 开/关状态标注
• 活动状态分类

附加特征

• 末端执行器仿真姿态（6D姿态信息）
• 夹爪开度尺度（连续测量）

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 项目页面: https://flagopen.github.io/RoboCOIN/
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📚 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，该数据集采用AIRBOT_MMK2双手机器人平台，通过五指灵巧手执行精细操作任务。构建过程基于LeRobot扩展格式，包含50个完整操作片段，总计6486帧数据，以30帧率记录多视角视觉信息。数据以分块形式组织，每个数据块包含1000个片段，采用Parquet格式存储状态与动作数据，并配备四路高清摄像头同步采集操作过程。

特点

该数据集显著特征在于其丰富的多模态标注体系，涵盖子任务分割、场景语义分类及末端执行器运动分析。提供完整的六维位姿信息、速度加速度分类标注，以及抓取器开合状态监测。视觉观测包含四个同步视角，分辨率达480×640，采用AV1编码压缩。动作空间包含36维关节控制指令，完整呈现双手机器人协同操作的动力学特性。

使用方法

研究者可通过LeRobot兼容接口直接加载数据集，利用标准数据路径模式访问分块存储的片段数据。训练集涵盖0至49号操作片段，支持端到端模仿学习与强化学习算法验证。多路视频流与状态动作数据可分别用于视觉表征学习和运动规划研究，丰富的运动学标注为细粒度操作分析提供支撑，末端执行器位姿数据适用于抓取策略的定量评估。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同作业的研究逐渐成为前沿热点。AIRBOT_MMK2_place_the_shark_toys_and_gold_bars数据集由RoboCOIN团队于2025年11月发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于家庭环境中的双手精细操作任务。通过AIRBOT_MMK2双手机器人平台，研究者旨在解决多指手抓取、物品放置等基础操作的算法开发问题，其兼容LeRobot框架的设计理念推动了机器人学习数据的标准化进程。

当前挑战

该数据集针对双手协同操作的核心难题，需克服多物体抓取顺序规划、末端执行器轨迹协调等复杂控制问题。在构建过程中，团队面临多视角视频同步采集、高维状态动作空间标注等技术挑战，特别是五指手的精细操作数据获取需要克服传感器校准精度与动作分割一致性的双重考验。数据集的规模限制也使得模型泛化能力成为后续研究的关键瓶颈。

常用场景

经典使用场景

在机器人操作学习领域，该数据集为双手机器人协同操作提供了标准化研究平台。通过记录AIRBOT_MMK2机器人双手抓取鲨鱼玩具和金条并放置到纸盒盖的完整流程，该数据集典型应用于模仿学习算法的训练与验证。其多视角视频流与精细的动作标注，使研究者能够深入分析双手协调运动的时序特征与空间轨迹规划。

实际应用

在家庭服务机器人场景中，该数据集支撑了物品整理系统的开发实践。通过模拟真实家居环境中对异形物体（鲨鱼玩具）与规则物体（金条）的抓取操作，为服务机器人的物体分拣、容器放置等日常任务提供了技术验证平台。其双手操作范式可直接迁移到物流分拣、智能仓储等工业应用场景。

衍生相关工作

基于该数据集衍生的研究主要聚焦于多模态模仿学习框架的优化。研究者利用其精细的动作分割标注开发了分层强化学习算法，通过子任务分解提升双手操作的稳定性。相关成果进一步推动了LeRobot生态系统中双臂操作基准测试体系的完善，为后续机器人操作数据集的标准化建设提供了重要参考。