Airbot_MMK2_cover_lid

该数据集基于LeRobot扩展格式，完全兼容LeRobot。它记录了Airbot_MMK2机器人在厨房环境中执行盖子覆盖任务的详细数据，包括50个完整的情节、16213帧图像，以及来自四个摄像头（头部、左腕、右腕和正面）的视频数据。数据集大小为569.80 MB，包含机器人状态、动作命令、丰富的注释和任务描述。主要任务是用双手拿起盖子并盖在盒子上。数据集还提供了详细的硬件和传感器信息，包括相机配置和坐标系定义。

原始信息汇总

Airbot_MMK2_cover_lid 数据集概述

数据集基本信息

• 数据集名称: Airbot_MMK2_cover_lid
• 任务类别: 机器人学
• 语言: 英语
• 许可协议: Apache-2.0
• 格式兼容性: 基于LeRobot的扩展格式，与LeRobot完全兼容

核心任务与场景

• 主要任务指令: 用双手拿起盖子并盖在盒子上。
• 场景: 家庭 -> 厨房
• 操作对象:
  • lid(unknown)
  • box(unknown)

数据集规模与统计

指标	数值
总情节数	50
总帧数	16213
总任务数	6
总视频数	200
总数据块数	1
数据块大小	1000
帧率	30
状态维度	36
动作维度	36
相机视角数	4
数据集大小	569.80 MB

机器人配置

• 机器人名称: Airbot_MMK2
• 代码库版本: v2.1
• 末端执行器类型: five_finger_gripper
• 遥操作类型: 由于某些原因，此数据集暂时无法提供遥操作类型信息。

传感器与硬件

• 传感器列表:
  • cam_head_rgb
  • cam_left_wrist_rgb
  • cam_right_wrist_rgb
  • cam_front_rgb
• 相机信息:
  • 所有相机: dtype=video, shape=480x640x3, 分辨率=640x480, 编码=av1, 像素格式=yuv420p
• 坐标系: right-hand-frame
• 维度与单位:
  • 关节旋转: radian
  • 末端执行器旋转: end_rotation_dim
  • 末端执行器平移: end_translation_dim

任务分解

• 标准化任务描述: pick up the lid with both hands and cover the box.
• 操作类型: 由于某些原因，此数据集暂时无法提供操作类型信息。
• 环境类型: 由于某些原因，此数据集暂时无法提供环境类型信息。
• 子任务: 包含6个不同的子任务:
  1. 用左夹爪将盖子放在盒子上 (索引: 0)
  2. 结束 (索引: 1)
  3. 用右夹爪抓取盖子 (索引: 2)
  4. 用右夹爪将盖子放在盒子上 (索引: 3)
  5. 用左夹爪抓取盖子 (索引: 4)
  6. 空 (索引: 5)
• 原子动作: lift, place

数据划分

• 训练集: 情节 0:49

数据结构与组织

• 数据文件模式: data/chunk-{id}/episode_{id}.parquet

• 视频文件模式: videos/chunk-{id}/observation.images.cam_left_wrist_rgb/episode_{id}.mp{id}

• 分块: 数据被组织成1个块，每个块大小为1000。

• 目录结构:

  Airbot_MMK2_cover_lid_qced_hardlink/ |-- annotations (包含各类注释文件) |-- data/chunk-000 (包含Parquet格式的情节数据文件) |-- meta (包含元数据文件) `-- videos/chunk-000 (包含各相机视角的视频文件)

数据特征

数据集包含以下主要特征（基于提供的YAML描述）：

• 观测:
  • observation.images.*_rgb: 来自四个相机的RGB视频数据。
  • observation.state: 36维浮点数组，包含左右臂及左右手各关节的角度（弧度）。
• 动作: action: 36维浮点数组，结构与状态对应。
• 其他特征: 包括时间戳、帧索引、情节索引、任务索引、子任务注释、场景注释以及多种末端执行器（EEF）的状态和动作数据（如位姿、方向、速度、加速度幅度）。

可用注释

数据集包含丰富的注释以支持多样化的学习方法：

• eef_acc_mag_annotation.jsonl
• eef_direction_annotation.jsonl
• eef_velocity_annotation.jsonl
• gripper_activity_annotation.jsonl
• gripper_mode_annotation.jsonl
• scene_annotations.jsonl
• subtask_annotations.jsonl

相关链接

• 项目主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码仓库: https://github.com/FlagOpen/RoboCOIN

作者与贡献

• 贡献者: 北京智源人工智能研究院（BAAI）的RoboCOIN团队。

引用要求

使用此数据集需引用相关论文： bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025}, }

• 额外参考: 建议同时引用LeRobot框架: https://github.com/huggingface/lerobot

版本信息

• 初始发布