AIRBOT_MMK2_close_the_computer

这个数据集基于LeRobot格式，并与之完全兼容。它包括各种类型的注释和特征，以支持多种学习方法。数据集包含丰富的注释，包括子任务分割、场景级描述、末端执行器方向、速度和加速度分类，以及抓取器模式和工作状态分类。此外，数据集还提供了末端执行器在模拟空间中的6D姿态信息，以及抓取器开合度的连续测量。数据集被组织成多个块，每个块包含1000个数据点。数据集遵循LeRobot格式，包含视频、状态数据、动作数据和元数据等组件。数据集结构清晰，易于使用，适合进行机器人操作和学习研究。

原始信息汇总

AIRBOT_MMK2_close_the_computer 数据集概述

📋 数据集基本信息

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手
• 数据格式: 基于LeRobot的扩展格式，完全兼容LeRobot
• 许可证: Apache-2.0
• 支持语言: 英语、中文

🏠 场景类型

• 家庭场景

🤖 原子动作

• 抓取
• 放置
• 拾取

📊 数据集统计

指标	数值
总情节数	49
总帧数	7754
总任务数	1
总视频数	196
总块数	1
块大小	1000
帧率	30 FPS

🎯 任务描述

主要任务

用一只手握住电脑，用另一只手合上电脑

子任务

1. 异常
2. 用右夹爪合上笔记本电脑
3. 结束
4. 空
5. 用左夹爪按压笔记本电脑
6. 用左夹爪释放笔记本电脑
7. 静态

🎥 相机视图

• 包含4个相机视图

🏷️ 可用标注

子任务标注

• 细粒度子任务分割和标注

场景标注

• 场景级描述和语义场景分类

末端执行器标注

• 运动方向分类
• 速度幅度分类
• 加速度幅度分类

夹爪标注

• 夹爪模式：开/关状态标注
• 夹爪活动：活动/非活动状态分类

附加特征

• 末端执行器仿真姿态：仿真空间中的6D姿态信息
• 夹爪开口尺度：连续夹爪开口测量

📂 数据分割

• 训练集: 情节0-48

📁 数据集结构

文件组织

• 数据文件路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 分块: 数据组织为1个块，每个块大小1000

特征架构

视觉观测

• observation.images.cam_high_rgb: 视频，30 FPS，AV1编码
• observation.images.cam_left_wrist_rgb: 视频，30 FPS，AV1编码
• observation.images.cam_right_wrist_rgb: 视频，30 FPS，AV1编码
• observation.images.cam_third_view: 视频，30 FPS，AV1编码

状态和动作

• observation.state: float32
• action: float32

时间信息

• timestamp: float32
• frame_index: int64
• episode_index: int64
• index: int64
• task_index: int64

标注

• subtask_annotation: int32
• scene_annotation: int32

运动特征

• eef_sim_pose_state: float32
• eef_sim_pose_action: float32
• eef_direction_state: int32
• eef_direction_action: int32
• eef_velocity_state: int32
• eef_velocity_action: int32
• eef_acc_mag_state: int32
• eef_acc_mag_action: int32

📊 目录结构

AIRBOT_MMK2_close_the_computer_qced_hardlink/ ├── annotations/ ├── data/ │ └── chunk-000/ ├── meta/ └── videos/ └── chunk-000/ ├── observation.images.cam_high_rgb/ ├── observation.images.cam_left_wrist_rgb/ ├── observation.images.cam_right_wrist_rgb/ └── observation.images.cam_third_view/

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📚 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

📌 版本信息

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，该数据集采用AIRBOT_MMK2双手机器人平台进行构建，通过五指灵巧手执行闭合笔记本电脑的精细操作任务。数据采集过程包含49个完整操作片段，总计7754帧视觉与状态数据，以30帧/秒的采样频率记录多视角视频流。数据组织形式基于LeRobot扩展格式，采用分块存储结构将原始数据划分为1000帧容量的数据块，并通过Parquet文件格式高效存储机器人关节状态、动作指令及多模态传感器数据。

特点

该数据集在机器人操作任务中展现出多维度的技术特征，涵盖四种不同视角的视觉观测数据，包括高位摄像头、左右腕部摄像头及第三方视角摄像头。数据集提供丰富的动作语义标注体系，包含抓取、放置、拾取等原子动作分类，并配备精细的子任务分割标注。运动学特征方面包含末端执行器的六维位姿信息、速度加速度分类数据，以及抓取器开合状态与活动状态的多层次标注，为机器人模仿学习研究提供全面支撑。

使用方法

研究人员可通过LeRobot兼容接口直接加载该数据集，数据文件按照标准路径模式组织，支持按片段索引访问多模态数据流。使用过程中可调用观察状态数据中的36维关节角度信息与动作指令数据，结合四路视频流实现行为克隆与强化学习算法的训练。数据集已预划分为训练集（0-48号片段），用户可通过解析Parquet文件中的时间戳、帧索引与任务索引实现时序对齐，并利用丰富的运动学标注信息进行机器人操作策略的验证与评估。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同执行复杂任务一直是研究热点。AIRBOT_MMK2_close_the_computer数据集由RoboCOIN团队于2025年构建，聚焦于双手机器人闭合笔记本电脑这一精细操作任务。该数据集采用AIRBOT_MMK2机器人平台与五指灵巧手末端执行器，在家庭场景下采集了49个任务片段与7754帧多视角视频数据。通过兼容LeRobot框架的标准化格式，该数据集为双手机器人操作策略学习提供了包含关节状态、末端位姿、抓取动作等多维标注的基准数据，显著推进了机器人精细操作与双手协调控制的研究进程。

当前挑战

该数据集致力于解决双手机器人精细操作中的核心挑战：双手协调控制需要精确的时序同步与力位混合控制，末端执行器的六维位姿追踪对运动规划算法提出更高要求。在构建过程中，多视角视频数据同步采集面临时间戳对齐与标定误差累积的技术难题，五指灵巧手的高自由度动作标注需解决状态空间爆炸问题。此外，真实场景下的物体形变与光照变化增加了动作识别的复杂性，大规模多模态数据的存储与处理亦对计算架构提出严峻考验。

常用场景

经典使用场景

在机器人操作学习领域，该数据集聚焦于双手协作完成笔记本电脑闭合任务，通过多视角视觉观测与精细动作分解，为双臂机器人协同控制研究提供了标准化实验平台。其包含的抓取、放置、拾取等原子动作序列，配合末端执行器位姿与运动参数标注，成为验证分层强化学习与模仿学习算法的理想测试床。

解决学术问题

该数据集有效解决了机器人操作中双手协调控制的时序规划难题，通过提供精确的末端执行器仿真位姿与运动学参数，助力研究者突破动态环境下的抓握力控制瓶颈。其丰富的子任务标注体系为复杂动作的层次化分解提供了数据支撑，显著推进了机器人操作技能的可解释性与泛化能力研究。

衍生相关工作

基于该数据集衍生的研究已延伸至多模态感知融合领域，其中RoboCOIN团队提出的协同操作框架与LeRobot生态系统的深度集成，催生了系列关于动态抓握策略优化的创新成果。这些工作通过结合视觉-动作对齐与运动轨迹预测，持续推动着双臂机器人操作技术的标准化与规模化发展。