Airbot_MMK2_Airbot_MMK2_storage_bell_pepper_bowl

该数据集基于LeRobot格式，主要用于机器人技术领域，记录了机器人Airbot_MMK2使用五指夹爪将黄绿色辣椒放入碗中的任务。数据集包含50个episodes，4495帧，30FPS的视频数据，总大小为149.48 MB。数据包括四个摄像头视角的视频、机器人状态数据、动作数据以及丰富的注释。数据集结构清晰，包含视频文件、状态数据、动作数据和元数据，文件组织方式明确。

原始信息汇总

Airbot_MMK2_storage_bell_pepper_bowl 数据集概述

数据集基本信息

• 数据集名称: Airbot_MMK2_storage_bell_pepper_bowl
• 任务类别: 机器人学
• 语言: 英语
• 格式兼容性: 基于LeRobot的扩展格式，完全兼容LeRobot
• 许可协议: Apache-2.0
• 访问条件: 访问者需同意在研究/出版物中引用相关论文，且不得使用该数据集进行对人类受试者造成伤害的实验。

任务与场景

• 主要任务描述: 用右手将黄绿色辣椒放入碗中。
• 场景类型: 客厅->家庭环境
• 涉及物体:
  • yellow_bell_pepper(unknown)
  • bowl(unknown)

机器人配置

• 机器人名称: Airbot_MMK2
• 代码库版本: v2.1
• 末端执行器类型: five_finger_gripper
• 遥操作类型: 由于某些原因，此数据集暂时无法提供遥操作类型信息。

硬件与传感器

• 传感器列表:
  • cam_head_rgb
  • cam_left_wrist_rgb
  • cam_right_wrist_rgb
  • cam_front_rgb
• 相机信息:
  • 所有相机: dtype=video, shape=480x640x3, 分辨率=640x480, 编码器=av1, 像素格式=yuv420p, fps=30
• 坐标系定义: right-hand-frame
• 维度与单位:
  • 关节旋转: radian
  • 末端执行器旋转: end_rotation_dim
  • 末端执行器平移: end_translation_dim

数据集统计

指标	值
总情节数	50
总帧数	4495
总任务数	6
总视频数	200
总数据块数	1
数据块大小	1000
帧率	30
状态维度	36
动作维度	36
相机视角数	4
数据集大小	149.48 MB

数据划分

• 训练集: 情节 0:49

数据集结构

文件组织

• 数据文件路径模式: data/chunk-{id}/episode_{id}.parquet
• 视频文件路径模式: videos/chunk-{id}/observation.images.cam_left_wrist_rgb/episode_{id}.mp{id}
• 分块: 数据被组织成1个数据块，每个块大小为1000。

目录结构

Airbot_MMK2_Airbot_MMK2_storage_bell_pepper_bowl_qced_hardlink/ |-- annotations | |-- eef_acc_mag_annotation.jsonl | |-- eef_direction_annotation.jsonl | |-- eef_velocity_annotation.jsonl | |-- gripper_activity_annotation.jsonl | |-- gripper_mode_annotation.jsonl | |-- scene_annotations.jsonl | -- subtask_annotations.jsonl |-- data | -- chunk-000 | |-- episode_000000.parquet | |-- episode_000001.parquet | |-- episode_000002.parquet | |-- episode_000003.parquet | |-- episode_000004.parquet | |-- episode_000005.parquet | |-- episode_000006.parquet | |-- episode_000007.parquet | |-- episode_000008.parquet | |-- episode_000009.parquet | |-- episode_000010.parquet | -- episode_000011.parquet | -- ... (38 more entries) |-- meta | |-- episodes.jsonl | |-- episodes_stats.jsonl | |-- info.json | -- tasks.jsonl -- videos -- chunk-000 |-- observation.images.cam_front_rgb |-- observation.images.cam_head_rgb |-- observation.images.cam_left_wrist_rgb -- observation.images.cam_right_wrist_rgb

任务与标注

子任务

数据集包含6个不同的子任务:

1. Abnormal (索引: 0)
2. Place yellow round chili pepper on the blue bowl with the right gripper (索引: 1)
3. Grasp the yellow round chili pepper with the right gripper (索引: 2)
4. End (索引: 3)
5. Static (索引: 4)
6. null (索引: 5)

原子动作

• grasp
• pick
• place

可用标注

• eef_acc_mag_annotation.jsonl
• eef_direction_annotation.jsonl
• eef_velocity_annotation.jsonl
• gripper_activity_annotation.jsonl
• gripper_mode_annotation.jsonl
• scene_annotations.jsonl
• subtask_annotations.jsonl

数据特征

主要特征

• observation.images.cam_head_rgb: 视频格式，形状[480, 640, 3]
• observation.images.cam_left_wrist_rgb: 视频格式，形状[480, 640, 3]
• observation.images.cam_right_wrist_rgb: 视频格式，形状[480, 640, 3]
• observation.images.cam_front_rgb: 视频格式，形状[480, 640, 3]
• observation.state: float32格式，形状[36]，包含左右臂及手部关节状态
• action: float32格式，形状[36]，包含左右臂及手部关节动作

其他特征

• timestamp: float32格式，形状[1]
• frame_index: int64格式，形状[1]
• episode_index: int64格式，形状[1]
• index: int64格式，形状[1]
• task_index: int64格式，形状[1]
• subtask_annotation: int32格式，形状[5]
• scene_annotation: int32格式，形状[1]
• eef_sim_pose_state: float32格式，形状[12]
• eef_sim_pose_action: float32格式，形状[12]
• eef_direction_state: int32格式，形状[2]
• eef_direction_action: int32格式，形状[2]
• eef_velocity_state: int32格式，形状[2]
• eef_velocity_action: int32格式，形状[2]
• eef_acc_mag_state: int32格式，形状[2]
• eef_acc_mag_action: int32格式，形状[2]

贡献与联系

• 贡献者: RoboCOIN Team at Beijing Academy of Artificial Intelligence (BAAI)
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码仓库: https://github.com/FlagOpen/RoboCOIN

版本信息

• 初始发布

引用要求

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025}, }