Airbot_MMK2_storage_cup_plate

该数据集使用基于LeRobot的扩展格式，并完全兼容LeRobot。它包含44个片段，总计11727帧，大小为500.23 MB。数据集任务描述为：用手拿起桌子上的杯子并将它们放在白色盘子上。机器人名称为Airbot_MMK2，末端执行器类型为five_finger_gripper。数据集包含四个摄像头视图：cam_head_rgb、cam_left_wrist_rgb、cam_right_wrist_rgb和cam_front_rgb。场景为家庭厨房，对象包括any_cup(unknown)和white_small_plate(unknown)。数据集还包含丰富的注释以支持多样化的学习方法。

原始信息汇总

Airbot_MMK2_storage_cup_plate 数据集概述

数据集基本信息

• 任务类别：机器人学
• 语言：英语
• 许可协议：Apache-2.0
• 格式兼容性：基于LeRobot的扩展格式，完全兼容LeRobot。

数据集规模与统计

指标	数值
总情节数	44
总帧数	11727
总任务数	7
总视频数	176
总数据块数	1
数据块大小	1000
帧率	30 FPS
状态维度	36
动作维度	36
相机视角数	4
数据集大小	500.23 MB

任务与场景

• 主要任务指令：pick up the cups on the table by hand and place them on the white plate.
• 场景类型：household->kitchen
• 操作对象：
  • any_cup(unknown)
  • white_small_plate(unknown)

子任务

数据集包含7个不同的子任务：

1. Grasp the purple cup with the right gripper (索引: 0)
2. Grasp the blue cup with the left gripper (索引: 1)
3. Place the blue cup on the plate with the left gripper (索引: 2)
4. Abnormal (索引: 3)
5. Place the purple cup on the blue cup with the right gripper (索引: 4)
6. End (索引: 5)
7. null (索引: 6)

原子动作

• clip
• place
• lift

机器人配置

• 机器人名称：Airbot_MMK2
• 代码库版本：v2.1
• 末端执行器类型：five_finger_gripper
• 遥操作类型：Due to some reasons, this dataset temporarily cannot provide the teleoperation type information.

硬件与传感器

传感器列表

• cam_head_rgb
• cam_left_wrist_rgb
• cam_right_wrist_rgb
• cam_front_rgb

相机信息

所有相机视图规格如下：

• 数据类型：video
• 形状：480x640x3 (高度x宽度x通道)
• 分辨率：640x480
• 编解码器：av1
• 像素格式：yuv420p
• 帧率：30 FPS
• 通道数：3
• 包含音频：false

坐标系与单位

• 坐标系定义：right-hand-frame
• 关节旋转单位：radian
• 末端执行器旋转维度：end_rotation_dim
• 末端执行器平移维度：end_translation_dim

数据结构与组织

数据划分

• 训练集：情节 0:43

文件组织模式

• 数据文件路径模式：data/chunk-{id}/episode_{id}.parquet
• 视频文件路径模式：videos/chunk-{id}/observation.images.cam_left_wrist_rgb/episode_{id}.mp{id}
• 分块：数据被组织成1个数据块，每个块大小为1000。

目录结构

Airbot_MMK2_storage_cup_plate_qced_hardlink/ |-- annotations | |-- eef_acc_mag_annotation.jsonl | |-- eef_direction_annotation.jsonl | |-- eef_velocity_annotation.jsonl | |-- gripper_activity_annotation.jsonl | |-- gripper_mode_annotation.jsonl | |-- scene_annotations.jsonl | -- subtask_annotations.jsonl |-- data | -- chunk-000 | |-- episode_000000.parquet | |-- episode_000001.parquet | |-- episode_000002.parquet | |-- episode_000003.parquet | |-- episode_000004.parquet | |-- episode_000005.parquet | |-- episode_000006.parquet | |-- episode_000007.parquet | |-- episode_000008.parquet | |-- episode_000009.parquet | |-- episode_000010.parquet | -- episode_000011.parquet | -- ... (32 more entries) |-- meta | |-- episodes.jsonl | |-- episodes_stats.jsonl | |-- info.json | -- tasks.jsonl -- videos -- chunk-000 |-- observation.images.cam_front_rgb |-- observation.images.cam_head_rgb |-- observation.images.cam_left_wrist_rgb -- observation.images.cam_right_wrist_rgb

数据特征

数据集包含以下主要特征：

• observation.images.cam_*_rgb：四个相机视角的RGB视频数据。
• observation.state：36维浮点型机器人状态数据，包含左右臂各6个关节、左右手各12个关节的角度（弧度）。
• action：36维浮点型动作数据，维度与状态数据对应。
• timestamp, frame_index, episode_index, index, task_index：时间戳与索引信息。
• subtask_annotation, scene_annotation：子任务与场景标注。
• eef_sim_pose_state/action：末端执行器模拟位姿（位置与旋转）。
• eef_direction_state/action, eef_velocity_state/action, eef_acc_mag_state/action：末端执行器的方向、速度、加速度幅度信息。

可用标注

数据集包含丰富的标注以支持多样化的学习方法：

• eef_acc_mag_annotation.jsonl
• eef_direction_annotation.jsonl
• eef_velocity_annotation.jsonl
• gripper_activity_annotation.jsonl
• gripper_mode_annotation.jsonl
• scene_annotations.jsonl
• subtask_annotations.jsonl

相关链接

• 项目主页：https://flagopen.github.io/RoboCOIN/
• 论文：https://arxiv.org/abs/2511.17441
• 代码仓库：https://github.com/FlagOpen/RoboCOIN

作者与贡献者

• 贡献者：北京智源人工智能研究院的RoboCOIN团队。

引用要求

使用本数据集需引用相关论文： bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025}, }

同时建议引用LeRobot框架：https://github.com/huggingface/lerobot