Airbot_MMK2_rotate_cube_face

该数据集基于LeRobot扩展格式，完全兼容LeRobot。它记录了机器人Airbot_MMK2使用五指夹持器在书房环境中操作魔方（Rubik's cube）的任务。任务包括用左手拿起魔方，用右手旋转一次，然后用左手放下。数据集包含145个片段，55057帧，30帧每秒，总大小2.13 GB。使用了四个摄像头视角：头部RGB、左手腕RGB、右手腕RGB和正面RGB。数据集结构包括视频文件、状态数据、动作数据和元数据，组织成1个数据块。

原始信息汇总

Airbot_MMK2_rotate_cube_face 数据集概述

数据集基本信息

• 数据集名称: Airbot_MMK2_rotate_cube_face
• 任务类别: 机器人学
• 语言: 英语
• 许可协议: Apache-2.0
• 格式兼容性: 基于LeRobot的扩展格式，完全兼容LeRobot。
• 访问条件: 使用此数据集需同意在研究/出版物中引用相关论文，且不得使用该数据集进行对人类受试者造成伤害的实验。

任务与场景

• 主要任务指令: 用左手拿起魔方，用右手旋转一次，然后用左手放下。
• 标准化任务描述: pick up the rubiks cube with left hand, rotate it once with right hand, and then put it down with left hand.
• 场景类型: household->study_room
• 操作对象: rubiks_cube(unknown)

机器人配置

• 机器人名称: Airbot_MMK2
• 代码库版本: v2.1
• 末端执行器类型: five_finger_gripper
• 遥操作类型: 由于某些原因，此数据集暂时无法提供遥操作类型信息。
• 坐标系定义: right-hand-frame

数据内容与结构

数据集统计

指标	数值
总情节数	145
总帧数	55057
总任务数	8
总视频数	580
总数据块数	1
数据块大小	1000
帧率	30
状态维度	36
动作维度	36
相机视角数	4
数据集大小	2.13 GB

数据划分

• 训练集: 情节 0:144

子任务

数据集包含8个不同的子任务：

1. Adjust the rubiks cube with the left gripper (索引: 0)
2. Grasp the rubiks cube with the left gripper (索引: 1)
3. End (索引: 2)
4. Place the rubiks cube on the table with the left gripper (索引: 3)
5. Move the rightmost combination block of the rubiks cube with the right gripper (索引: 4)
6. Abnormal (索引: 5)
7. Lift up the rubiks cube with the left gripper (索引: 6)
8. null (索引: 7)

原子动作

• grasp
• pick
• place
• filp

硬件与传感器

传感器列表

• cam_head_rgb
• cam_left_wrist_rgb
• cam_right_wrist_rgb
• cam_front_rgb

相机信息

所有相机视角 (cam_head_rgb, cam_left_wrist_rgb, cam_right_wrist_rgb, cam_front_rgb) 具有相同规格：

• 数据类型: video
• 形状: 480x640x3 (高度x宽度x通道)
• 分辨率: 640x480
• 编解码器: av1
• 像素格式: yuv420p
• 帧率: 30
• 是否为深度图: false
• 是否包含音频: false

维度与单位

• 关节旋转: radian
• 末端执行器旋转: end_rotation_dim
• 末端执行器平移: end_translation_dim

数据集组织与特征

文件组织模式

• 数据文件路径模式: data/chunk-{id}/episode_{id}.parquet
• 视频文件路径模式: videos/chunk-{id}/observation.images.cam_left_wrist_rgb/episode_{id}.mp{id}
• 数据分块: 数据被组织成1个数据块，每个块大小为1000。

主要数据特征

• observation.state: 36维浮点数组，包含左右臂各6个关节、左右手各12个关节的弧度值。
• action: 36维浮点数组，结构与observation.state对应。
• timestamp: 时间戳。
• frame_index: 帧索引。
• episode_index: 情节索引。
• task_index: 任务索引。
• subtask_annotation: 子任务标注。
• scene_annotation: 场景标注。
• eef_sim_pose_state/action: 左右末端执行器的模拟位姿（位置和旋转）。
• eef_direction_state/action: 左右末端执行器的方向。
• eef_velocity_state/action: 左右末端执行器的速度。
• eef_acc_mag_state/action: 左右末端执行器的加速度幅度。

可用标注文件

• eef_acc_mag_annotation.jsonl
• eef_direction_annotation.jsonl
• eef_velocity_annotation.jsonl
• gripper_activity_annotation.jsonl
• gripper_mode_annotation.jsonl
• scene_annotations.jsonl
• subtask_annotations.jsonl

来源与引用

贡献者

• RoboCOIN Team at Beijing Academy of Artificial Intelligence (BAAI)

相关链接

• 项目主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码仓库: https://github.com/FlagOpen/RoboCOIN

引用要求

使用此数据集需引用以下论文： bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025}, }

同时建议引用LeRobot框架：https://github.com/huggingface/lerobot