Airbot_MMK2_storage_cake_plate

该数据集名为'Airbot_MMK2_storage_cake_plate'，是一个专注于双手操作任务的机器人数据集。数据集基于LeRobot格式扩展，并完全兼容LeRobot框架。主要任务描述为'分别用左手和右手将蛋糕放入盘子中'。数据集包含50个片段，6430帧，30帧/秒的视频数据，总大小为280.75 MB。使用的机器人名为Airbot_MMK2，末端执行器为五指夹爪。数据集包含四个摄像头视图：头部RGB摄像头、左手腕RGB摄像头、右手腕RGB摄像头和正面RGB摄像头。场景设置为家庭厨房，操作对象为蛋糕和盘子。数据集提供了丰富的注释，支持多种学习方法，包括末端执行器的加速度、方向、速度等状态和动作数据。数据集由北京人工智能研究院（BAAI）的RoboCOIN团队贡献，采用Apache-2.0许可证。

原始信息汇总

Airbot_MMK2_storage_cake_plate 数据集概述

数据集基本信息

• 数据集名称: Airbot_MMK2_storage_cake_plate
• 任务类别: 机器人学
• 主要语言: 英语
• 数据格式: 基于LeRobot的扩展格式，完全兼容LeRobot
• 许可协议: Apache-2.0
• 访问要求: 使用需同意引用相关论文，且不得用于对人类受试者造成伤害的实验

任务与场景

• 主要任务指令: 分别用左手和右手将蛋糕放入盘子中
• 场景类型: 家庭环境 -> 厨房
• 涉及物体: cake(unknown), plate(unknown)
• 操作类型: 由于某些原因，此数据集暂时无法提供操作类型信息
• 环境类型: 由于某些原因，此数据集暂时无法提供环境类型信息

机器人配置

• 机器人名称: Airbot_MMK2
• 代码库版本: v2.1
• 末端执行器类型: five_finger_gripper
• 遥操作类型: 由于某些原因，此数据集暂时无法提供遥操作类型信息

子任务与原子动作

子任务

数据集包含8个不同的子任务：

1. Abnormal (索引: 0)
2. 用左手夹爪抓取袋装蛋糕 (索引: 1)
3. 用右手夹爪将袋装蛋糕放在白色盘子上 (索引: 2)
4. Static (索引: 3)
5. End (索引: 4)
6. 用右手夹爪抓取袋装蛋糕 (索引: 5)
7. 用左手夹爪将袋装蛋糕放在白色盘子上 (索引: 6)
8. null (索引: 7)

原子动作

• grasp
• pick
• place

硬件与传感器

传感器列表

• cam_head_rgb
• cam_left_wrist_rgb
• cam_right_wrist_rgb
• cam_front_rgb

相机信息

所有相机视图规格一致：

• 数据类型: 视频
• 形状: 480x640x3
• 分辨率: 640x480
• 编解码器: av1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 通道数: 3
• 包含音频: 否

坐标系与单位

• 坐标系定义: right-hand-frame
• 关节旋转单位: radian
• 末端执行器旋转维度: end_rotation_dim
• 末端执行器平移维度: end_translation_dim

数据集统计

指标	数值
总情节数	50
总帧数	6430
总任务数	8
总视频数	200
总数据块数	1
数据块大小	1000
帧率	30
状态维度	36
动作维度	36
相机视图数	4
数据集大小	280.75 MB

数据划分

• 训练集: 情节 0:49

数据结构

文件组织

• 数据文件路径模式: data/chunk-{id}/episode_{id}.parquet
• 视频文件路径模式: videos/chunk-{id}/observation.images.cam_left_wrist_rgb/episode_{id}.mp{id}
• 分块: 数据被组织成1个数据块，每个块大小为1000

目录结构

Airbot_MMK2_storage_cake_plate_qced_hardlink/ |-- annotations | |-- eef_acc_mag_annotation.jsonl | |-- eef_direction_annotation.jsonl | |-- eef_velocity_annotation.jsonl | |-- gripper_activity_annotation.jsonl | |-- gripper_mode_annotation.jsonl | |-- scene_annotations.jsonl | -- subtask_annotations.jsonl |-- data | -- chunk-000 | |-- episode_000000.parquet | |-- episode_000001.parquet | |-- episode_000002.parquet | |-- episode_000003.parquet | |-- episode_000004.parquet | |-- episode_000005.parquet | |-- episode_000006.parquet | |-- episode_000007.parquet | |-- episode_000008.parquet | |-- episode_000009.parquet | |-- episode_000010.parquet | -- episode_000011.parquet | -- ... (38 more entries) |-- meta | |-- episodes.jsonl | |-- episodes_stats.jsonl | |-- info.json | -- tasks.jsonl -- videos -- chunk-000 |-- observation.images.cam_front_rgb |-- observation.images.cam_head_rgb |-- observation.images.cam_left_wrist_rgb -- observation.images.cam_right_wrist_rgb

数据特征

主要特征

• observation.images.cam_*_rgb: 视频数据，形状480x640x3，30 FPS
• observation.state: 浮点32位，形状36，包含左右臂和手部关节角度
• action: 浮点32位，形状36，动作命令
• timestamp: 浮点32位，形状1
• frame_index: 整型64位，形状1
• episode_index: 整型64位，形状1
• task_index: 整型64位，形状1
• subtask_annotation: 整型32位，形状5
• scene_annotation: 整型32位，形状1
• eef_sim_pose_state/action: 浮点32位，形状12，末端执行器位姿
• eef_direction_state/action: 整型32位，形状2，末端执行器方向
• eef_velocity_state/action: 整型32位，形状2，末端执行器速度
• eef_acc_mag_state/action: 整型32位，形状2，末端执行器加速度幅度

可用标注

• eef_acc_mag_annotation.jsonl
• eef_direction_annotation.jsonl
• eef_velocity_annotation.jsonl
• gripper_activity_annotation.jsonl
• gripper_mode_annotation.jsonl
• scene_annotations.jsonl
• subtask_annotations.jsonl

数据集标签

• RoboCOIN
• LeRobot

作者与贡献者

• 贡献者: 北京智源人工智能研究院的RoboCOIN团队
• 标注者: 无标注者信息

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN

引用信息

主要引用

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025}, }

额外引用

• LeRobot框架: https://github.com/huggingface/lerobot

版本信息

• 初始版本