Airbot_MMK2_Airbot_MMK2_storage_potato_pumpkin

该数据集名为'Airbot_MMK2_storage_potato_pumpkin'，是一个基于LeRobot格式的机器人操作数据集，完全兼容LeRobot。数据集包含41个操作片段，总计9965帧，帧率为30 FPS，大小为288.93 MB。机器人名称为'Airbot_MMK2'，配备五指夹爪，操作场景为家庭厨房。主要任务是用左手拿起土豆，用右手拿起南瓜，然后将它们放入储物盒中。数据集包含四个摄像头视角的视频数据（cam_head_rgb、cam_left_wrist_rgb、cam_right_wrist_rgb、cam_front_rgb），并提供了丰富的注释以支持多种学习任务。数据集由北京人工智能研究院（BAAI）的RoboCOIN团队贡献，采用Apache 2.0许可证。

原始信息汇总

Airbot_MMK2_storage_potato_pumpkin 数据集概述

数据集基本信息

• 任务类别: 机器人学
• 语言: 英语
• 许可协议: Apache-2.0
• 格式兼容性: 基于LeRobot的扩展格式，完全兼容LeRobot。

数据集内容与规模

• 总情节数: 41
• 总帧数: 9965
• 帧率: 30 FPS
• 数据集大小: 288.93 MB
• 数据分块: 1个块，块大小为1000
• 数据划分: 训练集包含情节0至40。

任务描述

• 主要任务指令: 用左手拿起土豆放入储物箱，并用右手拿起南瓜放入储物箱。
• 场景: 家庭->厨房
• 操作对象:
  • potato(unknown)
  • pumpkin(unknown)
  • storage_box(unknown)
• 原子动作: pick, place, grasp
• 子任务:
  1. 用右夹爪抓取南瓜 (索引: 0)
  2. 用左夹爪抓取土豆 (索引: 1)
  3. 用左夹爪将土豆放入储物箱左侧隔间 (索引: 2)
  4. 结束 (索引: 3)
  5. 用右夹爪将南瓜放入储物箱右侧隔间 (索引: 4)
  6. 空 (索引: 5)

机器人配置

• 机器人名称: Airbot_MMK2
• 代码库版本: v2.1
• 末端执行器类型: five_finger_gripper
• 遥操作类型: 由于某些原因，此数据集暂时无法提供遥操作类型信息。
• 坐标系: right-hand-frame
• 维度与单位:
  • 关节旋转: radian
  • 末端执行器旋转: end_rotation_dim
  • 末端执行器平移: end_translation_dim

传感器与数据

• 传感器列表:
  • cam_head_rgb
  • cam_left_wrist_rgb
  • cam_right_wrist_rgb
  • cam_front_rgb
• 相机信息:
  • 所有相机视图: dtype=video, shape=480x640x3, 分辨率=640x480, 编码=av1, 像素格式=yuv420p
• 状态维度: 36
• 动作维度: 36
• 总视频数: 164
• 相机视图数: 4

数据集结构

数据集遵循LeRobot格式，组织如下：

Airbot_MMK2_Airbot_MMK2_storage_potato_pumpkin_qced_hardlink/ |-- annotations (包含各类注释文件) |-- data/chunk-{id}/episode_{id}.parquet (数据文件) |-- meta (包含元数据文件) `-- videos/chunk-{id}/observation.images.{camera_view}/episode_{id}.mp{id} (视频文件)

• 数据文件模式: data/chunk-{id}/episode_{id}.parquet
• 视频文件模式: videos/chunk-{id}/observation.images.cam_left_wrist_rgb/episode_{id}.mp{id}

可用注释

数据集包含丰富的注释以支持多样化的学习方法：

• eef_acc_mag_annotation.jsonl
• eef_direction_annotation.jsonl
• eef_velocity_annotation.jsonl
• gripper_activity_annotation.jsonl
• gripper_mode_annotation.jsonl
• scene_annotations.jsonl
• subtask_annotations.jsonl

特征定义

数据特征在YAML中完整定义，主要包括：

• 观测图像 (observation.images.*): 视频格式，480x640x3。
• 观测状态 (observation.state): float32, 形状[36]，包含左右臂及手部关节角度。
• 动作 (action): float32, 形状[36]，结构与观测状态对应。
• 其他字段: 时间戳、帧索引、情节索引、任务索引、子任务注释、场景注释、末端执行器状态与动作等。

相关链接

• 项目主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码仓库: https://github.com/FlagOpen/RoboCOIN

作者与贡献

• 贡献者: 北京智源人工智能研究院的RoboCOIN团队。
• 注释者: 无可用信息。

引用要求

使用此数据集需同意在研究中引用相关论文。引用格式如下： bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, ... , Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025}, }

同时建议引用LeRobot框架: https://github.com/huggingface/lerobot。

版本信息

初始发布版本。