Airbot_MMK2_storage_block_both_hands

Airbot_MMK2_storage_block_both_hands是一个基于LeRobot格式的机器人操作数据集，专注于双手协同操作任务。该数据集记录了Airbot_MMK2机器人（配备五指夹持器）在客厅环境中同时用双手拾取建筑积木并放入白色储物盒的任务过程。数据集包含49个episodes，3769帧30fps的视频数据（来自4个摄像头视角：头部、左右手腕和前置摄像头），总大小为104.08 MB。数据集提供了详细的机器人状态和动作数据（36维状态和动作空间），以及丰富的注释信息（末端执行器状态、夹持器活动等）。数据集采用Apache-2.0许可，由北京人工智能研究院的RoboCOIN团队贡献。

原始信息汇总

Airbot_MMK2_storage_block_both_hands 数据集概述

数据集基本信息

• 任务类别: 机器人学
• 语言: 英语
• 许可协议: Apache-2.0
• 格式兼容性: 基于LeRobot的扩展格式，完全兼容LeRobot。

任务与场景

• 主要任务指令: 用双手同时拿起积木块，并将其放入白色收纳盒中。
• 场景: household->living_room
• 操作对象:
  • square_building_blocks(unknown)
  • cream_storage_basket(unknown)

机器人配置

• 机器人名称: Airbot_MMK2
• 代码库版本: v2.1
• 末端执行器类型: five_finger_gripper
• 遥操作类型: 由于某些原因，此数据集暂时无法提供遥操作类型信息。

数据统计

指标	数值
总情节数	49
总帧数	3769
总任务数	6
总视频数	196
总数据块数	1
数据块大小	1000
帧率	30
状态维度	36
动作维度	36
相机视角数	4
数据集大小	104.08 MB

传感器与硬件

• 传感器列表:
  • cam_head_rgb
  • cam_left_wrist_rgb
  • cam_right_wrist_rgb
  • cam_front_rgb
• 相机信息: 所有四个相机视角的视频参数均为：dtype=video, shape=480x640x3, 分辨率=640x480, 编码=av1, 像素格式=yuv420p。
• 坐标系定义: right-hand-frame
• 维度与单位:
  • 关节旋转: radian
  • 末端执行器旋转: end_rotation_dim
  • 末端执行器平移: end_translation_dim

任务分解与标注

• 原子动作: grasp, pick, place
• 子任务: 包含6个不同的子任务：
  1. 用左手夹爪抓取红色积木块 (索引: 0)
  2. 结束 (索引: 1)
  3. 用右手夹爪抓取橙色积木块 (索引: 2)
  4. 用左手夹爪将红色积木块放入白色篮子 (索引: 3)
  5. 用右手夹爪将橙色积木块放入白色篮子 (索引: 4)
  6. null (索引: 5)
• 可用标注文件:
  • eef_acc_mag_annotation.jsonl
  • eef_direction_annotation.jsonl
  • eef_velocity_annotation.jsonl
  • gripper_activity_annotation.jsonl
  • gripper_mode_annotation.jsonl
  • scene_annotations.jsonl
  • subtask_annotations.jsonl

数据结构与组织

• 数据文件模式: data/chunk-{id}/episode_{id}.parquet

• 视频文件模式: videos/chunk-{id}/observation.images.cam_left_wrist_rgb/episode_{id}.mp{id}

• 数据分块: 数据被组织成1个块，每个块大小为1000。

• 数据划分:

  • 训练集: 情节 0:48

• 目录结构:

  Airbot_MMK2_storage_block_both_hands_qced_hardlink/ |-- annotations/ (包含各类标注JSONL文件) |-- data/ | -- chunk-000/ (包含49个情节的parquet文件) |-- meta/ (包含episodes, stats, info, tasks等元数据文件) -- videos/ `-- chunk-000/ (包含四个相机视角的视频文件夹)

特征定义

数据集包含以下主要特征（基于提供的YAML摘要）：

• observation.images.[camera_name]: 视频数据，形状为[480, 640, 3]，帧率30fps。
• observation.state: 浮点型状态数据，形状为[36]，包含左右臂及左右手各关节的角度（弧度）。
• action: 浮点型动作数据，形状为[36]，结构与状态数据对应。
• timestamp, frame_index, episode_index, index, task_index: 时间戳和索引信息。
• subtask_annotation, scene_annotation: 子任务和场景标注。
• eef_sim_pose_state/action: 左右末端执行器的模拟位姿（位置和旋转）。
• eef_direction_state/action, eef_velocity_state/action, eef_acc_mag_state/action: 末端执行器的方向、速度和加速度大小信息。

相关链接

• 项目主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码仓库: https://github.com/FlagOpen/RoboCOIN

贡献者与引用

• 贡献者: 北京智源人工智能研究院（BAAI）的RoboCOIN团队。
• 引用要求: 使用此数据集需引用相关论文（arXiv:2511.17441）。同时建议引用LeRobot框架（https://github.com/huggingface/lerobot）。