Airbot_MMK2_storage_cookie_cup

该数据集基于LeRobot的扩展格式，完全兼容LeRobot。它包含关于机器人配置、传感器、场景、物体、任务描述、硬件和数据集统计的详细信息。数据集专注于机器人任务，特别是涉及使用五指夹爪的Airbot_MMK2机器人在厨房场景中执行任务，物体包括盘子、马卡龙和清爽啤酒。主要任务是用左右手将饼干和啤酒放入盘子中。数据集包含47个片段，9983帧，大小为488.86 MB。还提供了关于相机视图、坐标系和数据结构的详细信息。

原始信息汇总

Airbot_MMK2_storage_cookie_cup 数据集概述

基本信息

• 数据集名称: Airbot_MMK2_storage_cookie_cup
• 任务类别: 机器人学
• 主要语言: 英语
• 数据格式: 基于LeRobot的扩展格式，完全兼容LeRobot
• 许可协议: Apache-2.0
• 访问要求: 使用需同意引用相关论文，且不得用于对人类受试者造成伤害的实验

数据集统计

指标	数值
总情节数	47
总帧数	9983
总任务数	6
总视频数	188
总数据块数	1
数据块大小	1000
帧率	30 FPS
状态维度	36
动作维度	36
相机视角数	4
数据集大小	488.86 MB

任务与场景

• 主要任务指令: 用左手和右手分别将饼干和啤酒放入盘中。
• 标准化任务描述: put the cookies and beer into the plate respectively with left and right hands.
• 场景类型: household->kitchen
• 操作对象:
  • plate(unknown)
  • macaron(unknown)
  • refreshing_beer(unknown)

子任务

数据集包含6个不同的子任务：

1. 用右夹爪将啤酒杯放在白色篮子上 (索引: 0)
2. 用左夹爪将袋装饼干放在白色篮子上 (索引: 1)
3. 用左夹爪抓取袋装饼干 (索引: 2)
4. 结束 (索引: 3)
5. 用右夹爪抓取啤酒杯 (索引: 4)
6. null (索引: 5)

原子动作

• grasp
• pick
• place

机器人配置

• 机器人名称: Airbot_MMK2
• 代码库版本: v2.1
• 末端执行器类型: five_finger_gripper
• 遥操作类型: 由于某些原因，此数据集暂时无法提供遥操作类型信息。
• 操作类型: 由于某些原因，此数据集暂时无法提供操作类型信息。
• 环境类型: 由于某些原因，此数据集暂时无法提供环境类型信息。

硬件与传感器

传感器列表

• cam_head_rgb
• cam_left_wrist_rgb
• cam_right_wrist_rgb
• cam_front_rgb

相机信息

所有相机视图具有相同的技术规格：

• 数据类型: 视频
• 形状: 480x640x3 (高度x宽度x通道)
• 分辨率: 640x480
• 编解码器: av1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 通道数: 3
• 包含音频: 否
• 是否为深度图: 否

坐标系与单位

• 坐标系定义: right-hand-frame
• 关节旋转单位: radian
• 末端执行器旋转维度: end_rotation_dim
• 末端执行器平移维度: end_translation_dim

数据结构与组织

数据划分

• 训练集: 情节 0:46

文件组织模式

• 数据文件路径模式: data/chunk-{id}/episode_{id}.parquet
• 视频文件路径模式: videos/chunk-{id}/observation.images.cam_left_wrist_rgb/episode_{id}.mp{id}
• 分块组织: 数据被组织成1个数据块，每个块大小为1000

目录结构

Airbot_MMK2_storage_cookie_cup_qced_hardlink/ |-- annotations | |-- eef_acc_mag_annotation.jsonl | |-- eef_direction_annotation.jsonl | |-- eef_velocity_annotation.jsonl | |-- gripper_activity_annotation.jsonl | |-- gripper_mode_annotation.jsonl | |-- scene_annotations.jsonl | -- subtask_annotations.jsonl |-- data | -- chunk-000 | |-- episode_000000.parquet | |-- episode_000001.parquet | |-- episode_000002.parquet | |-- episode_000003.parquet | |-- episode_000004.parquet | |-- episode_000005.parquet | |-- episode_000006.parquet | |-- episode_000007.parquet | |-- episode_000008.parquet | |-- episode_000009.parquet | |-- episode_000010.parquet | -- episode_000011.parquet | -- ... (35 more entries) |-- meta | |-- episodes.jsonl | |-- episodes_stats.jsonl | |-- info.json | -- tasks.jsonl -- videos -- chunk-000 |-- observation.images.cam_front_rgb |-- observation.images.cam_head_rgb |-- observation.images.cam_left_wrist_rgb -- observation.images.cam_right_wrist_rgb

数据特征

主要特征字段

1. observation.images.cam_*_rgb: 四个相机视角的RGB视频观测
2. observation.state: 36维浮点型机器人状态（关节角度等）
3. action: 36维浮点型机器人动作命令
4. timestamp: 时间戳
5. frame_index: 帧索引
6. episode_index: 情节索引
7. task_index: 任务索引
8. subtask_annotation: 子任务标注
9. scene_annotation: 场景标注
10. eef_sim_pose_state/action: 末端执行器模拟位姿状态/动作
11. eef_direction_state/action: 末端执行器方向状态/动作
12. eef_velocity_state/action: 末端执行器速度状态/动作
13. eef_acc_mag_state/action: 末端执行器加速度幅度状态/动作

可用标注

• eef_acc_mag_annotation.jsonl
• eef_direction_annotation.jsonl
• eef_velocity_annotation.jsonl
• gripper_activity_annotation.jsonl
• gripper_mode_annotation.jsonl
• scene_annotations.jsonl
• subtask_annotations.jsonl

相关链接

• 项目主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码仓库: https://github.com/FlagOpen/RoboCOIN

贡献者与引用

贡献者

• 北京人工智能研究院的RoboCOIN团队

引用格式

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025}, }

额外参考文献

• LeRobot框架: https://github.com/huggingface/lerobot

版本信息

• 初始版本: 初始发布