AIRBOT_MMK2_place_the_glasses_case_and_gold_bars

这是一个基于LeRobot扩展格式的数据集，完全兼容LeRobot。数据集使用AIRBOT_MMK2机器人，代码库版本为v2.1，末端执行器为五指手。数据集涵盖了家庭场景，包括抓取、拾取和放置等原子动作。数据集包含49个总剧集，10180帧，1个任务，196个视频，1个数据块，每块大小为1000，帧率为30。数据集提供了丰富的注释，包括子任务分割、场景描述、末端执行器方向、速度和加速度、抓手模式、抓手活动状态、末端执行器模拟姿态、抓手开启尺度等信息。

原始信息汇总

AIRBOT_MMK2_place_the_glasses_case_and_gold_bars 数据集概述

📋 数据集基本信息

数据集名称： AIRBOT_MMK2_place_the_glasses_case_and_gold_bars
许可证： apache-2.0
支持语言： 英语、中文
任务类别： 机器人学
标签： RoboCOIN、LeRobot
规模类别： 10K-100K

🤖 机器人配置

机器人类型： AIRBOT_MMK2
代码库版本： v2.1
末端执行器类型： 五指手

🏠 场景类型

• 家庭环境

⚡ 原子动作

• 抓取
• 拾取
• 放置

📊 数据集统计

指标	数值
总情节数	49
总帧数	10180
总任务数	1
总视频数	196
总分块数	1
分块大小	1000
帧率	30 FPS

🎯 任务描述

主要任务

用一只手握住眼镜盒放在桌子中间，用另一只手将金条放在眼镜盒上

子任务

包含8个不同的子任务：

1. 异常
2. 结束
3. 用左手抓取器抓取眼镜盒
4. 用右手抓取器抓取金条
5. 空
6. 用左手抓取器将眼镜盒放在桌子中间
7. 用右手抓取器将金条放在眼镜盒上
8. 静态

🎥 视觉数据

相机视角数量： 4个

视觉观测特征：

• observation.images.cam_high_rgb：视频，30 FPS，AV1编码
• observation.images.cam_left_wrist_rgb：视频，30 FPS，AV1编码
• observation.images.cam_right_wrist_rgb：视频，30 FPS，AV1编码
• observation.images.cam_third_view：视频，30 FPS，AV1编码

🏷️ 可用标注

子任务标注

• 子任务分割： 细粒度的子任务分割和标注

场景标注

• 场景级描述： 语义场景分类和描述

末端执行器标注

• 方向： 机器人末端执行器运动方向分类
• 速度： 操作过程中的速度大小分类
• 加速度： 运动分析的加速度大小分类

抓取器标注

• 抓取器模式： 抓取器开/关状态标注
• 抓取器活动： 活动状态分类（活动/非活动）

附加特征

• 末端执行器仿真位姿： 仿真空间中末端执行器的6D位姿信息（状态和动作）
• 抓取器开口尺度： 连续抓取器开口测量（状态和动作）

📂 数据特征

状态和动作

• observation.state： float32，36维
• action： float32，36维

时间信息

• timestamp：float32
• frame_index：int64
• episode_index：int64
• index：int64
• task_index：int64

运动特征

• eef_sim_pose_state：float32，12维
• eef_sim_pose_action：float32，12维
• eef_direction_state：int32，2维
• eef_direction_action：int32，2维
• eef_velocity_state：int32，2维
• eef_velocity_action：int32，2维
• eef_acc_mag_state：int32，2维
• eef_acc_mag_action：int32，2维

📁 数据集结构

数据划分

• 训练集： 情节0-48

文件组织

• 数据文件模式： data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件模式： videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 分块： 数据组织为1个分块，每个分块大小1000

目录结构

AIRBOT_MMK2_place_the_glasses_case_and_gold_bars_qced_hardlink/ ├── annotations/ ├── data/ │ └── chunk-000/ ├── meta/ └── videos/ └── chunk-000/ ├── observation.images.cam_high_rgb/ ├── observation.images.cam_left_wrist_rgb/ ├── observation.images.cam_right_wrist_rgb/ └── observation.images.cam_third_view/

👥 贡献者

• RoboCOIN： RoboCOIN团队

🔗 相关链接

• 主页： https://flagopen.github.io/RoboCOIN/
• 论文： https://arxiv.org/abs/2511.17441
• 代码库： https://github.com/FlagOpen/RoboCOIN
• 项目页面： https://flagopen.github.io/RoboCOIN/
• 问题反馈： https://github.com/FlagOpen/RoboCOIN/issues

📄 许可证

许可证类型： Apache-2.0

📚 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

📌 版本信息

版本历史：

• v1.0.0 (2025-11)：初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，该数据集采用AIRBOT_MMK2双手机器人平台，通过五指灵巧手执行眼镜盒与金条的放置任务。数据构建基于LeRobot扩展格式，包含49个完整操作序列，总计10180帧30fps的多视角视频流。采集过程涵盖抓取、拾取、放置等原子动作，并通过分块存储机制将数据组织为单块1000条记录的parquet文件，确保时序数据的完整性。

特点

该数据集突出表现为多模态融合特性，集成四路高清摄像头（顶部视角、左右腕部视角及第三方视角）的视觉观测数据。其标注体系涵盖细粒度子任务分割、末端执行器运动学参数（位姿、速度、加速度）以及抓取器状态监测。36维关节空间状态与动作向量完整呈现双手机器人的协同操作轨迹，为模仿学习与强化学习算法提供立体化监督信号。

使用方法

研究者可通过LeRobot兼容接口直接加载数据块，利用observation.images获取多视角视频流，结合observation.state与action字段构建状态-动作映射关系。子任务标注支持分层策略学习，末端执行器仿真位姿数据适用于运动规划算法验证。训练集包含0-48号完整操作序列，建议采用时序建模方法处理连续帧间的动态关联。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同执行复杂任务一直是研究热点。AIRBOT_MMK2_place_the_glasses_case_and_gold_bars数据集由RoboCOIN团队于2025年发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于双手机器人在家庭环境中执行精细物体放置任务。基于LeRobot框架构建，数据集通过AIRBOT_MMK2机器人平台采集了49个完整操作序列，涵盖抓取、拾取和放置等基础动作。其核心研究目标在于解决双手机器人协同操作中的动作规划与执行问题，为机器人学习算法提供真实世界的行为示范数据，推动具身智能在复杂环境中的适应性发展。

当前挑战

该数据集致力于解决双手机器人协同操作中的精细物体操控难题，特别是双手协调执行复合任务时的动作同步与力控制问题。构建过程中面临多重挑战：多视角视觉数据同步采集需要协调四个摄像头的同时录制，确保时空一致性；高维动作空间标注涉及36个关节状态的精确记录，对数据采集系统的实时性提出严格要求；复杂任务分解需要将主任务细化为8个子任务并建立准确的时序边界，这对人工标注的精确度构成考验。此外，模拟环境与真实世界的数据对齐也需要克服传感器噪声和机械延迟带来的偏差。

常用场景

经典使用场景

在机器人操作研究领域，该数据集为双手机器人协同操作任务提供了标准化基准。通过记录AIRBOT_MMK2机器人双手抓取眼镜盒与金条的完整操作流程，数据集典型应用于模仿学习算法的训练与验证。其多视角视频流与精细的动作标注，使研究者能够构建端到端的操作策略模型，特别在双手协调运动规划方面具有重要参考价值。

衍生相关工作

基于该数据集衍生的经典研究包括RoboCOIN项目中的多智能体协同操作框架，以及LeRobot生态下的行为克隆算法改进。这些工作通过利用数据集提供的双手操作时序数据，发展了分层强化学习在复杂操作任务中的应用，并推动了机器人操作知识迁移方法的技术革新。

数据集最近研究

最新研究方向

在机器人灵巧操作领域，该数据集聚焦于双手机器人协同任务的前沿探索。通过提供多视角视觉数据与精细的末端执行器运动标注，研究者正着力开发能够理解复杂操作序列的感知控制模型。当前研究热点集中于利用时空动作分割技术解析抓取、放置等原子动作的动力学特性，结合仿真姿态数据推动模仿学习与强化学习的融合创新。这类数据集对家庭服务机器人的自主操作能力提升具有显著意义，为构建能够适应动态环境的智能体奠定了数据基础。