Airbot_MMK2_storage_lemon_mango

该数据集基于LeRobot扩展格式，完全兼容LeRobot。它包含一个机器人（Airbot_MMK2）在厨房环境中使用五指夹爪执行抓取和放置任务（如将芒果和柠檬放入储物盒）的数据。数据集包括多个摄像头的视频观察、机器人的状态和动作数据，以及丰富的注释以支持多样化的学习方法。

原始信息汇总

Airbot_MMK2_storage_lemon_mango 数据集概述

数据集基本信息

• 数据集名称: Airbot_MMK2_storage_lemon_mango
• 任务类别: 机器人学
• 语言: 英语
• 许可证: Apache 2.0
• 格式兼容性: 基于LeRobot的扩展格式，与LeRobot完全兼容
• 访问条款: 使用本数据集需同意在研究/出版物中引用相关论文，并承诺不将数据集用于对人类受试者造成伤害的实验。

任务与场景

• 主要任务指令: 用左手抓取芒果，用右手抓取柠檬，并将它们放入储物盒。
• 场景类型: 家庭->厨房
• 涉及物体: 柠檬（未知）、芒果（未知）、储物盒（未知）

机器人配置

• 机器人名称: Airbot_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指夹爪
• 遥操作类型: 由于某些原因，本数据集暂时无法提供遥操作类型信息。

数据规模与统计

指标	数值
总情节数	49
总帧数	7685
总任务数	6
总视频数	196
总数据块数	1
数据块大小	1000
帧率	30 FPS
状态维度	36
动作维度	36
相机视角数	4
数据集大小	201.65 MB

传感器与硬件

• 传感器列表:
  • cam_head_rgb
  • cam_left_wrist_rgb
  • cam_right_wrist_rgb
  • cam_front_rgb
• 相机信息: 所有相机视角均为视频格式，形状为480x640x3，分辨率为640x480，编码器为av1，像素格式为yuv420p，帧率为30 FPS。
• 坐标系: 右手坐标系
• 维度与单位:
  • 关节旋转: 弧度
  • 末端执行器旋转: end_rotation_dim
  • 末端执行器平移: end_translation_dim

任务分解与标注

• 标准化任务描述: grab the mango with left hand and the lemon with right hand, and put them into the storage box.
• 操作类型: 由于某些原因，本数据集暂时无法提供操作类型信息。
• 环境类型: 由于某些原因，本数据集暂时无法提供环境类型信息。
• 子任务: 包含6个不同的子任务：
  1. End (索引: 0)
  2. 用右夹爪将柠檬放入储物盒的右侧隔间 (索引: 1)
  3. 用左夹爪将芒果放入储物盒的左侧隔间 (索引: 2)
  4. 用左夹爪抓取芒果 (索引: 3)
  5. 用右夹爪抓取柠檬 (索引: 4)
  6. null (索引: 5)
• 原子动作: pinch, place, clip, lift
• 可用标注文件:
  • eef_acc_mag_annotation.jsonl
  • eef_direction_annotation.jsonl
  • eef_velocity_annotation.jsonl
  • gripper_activity_annotation.jsonl
  • gripper_mode_annotation.jsonl
  • scene_annotations.jsonl
  • subtask_annotations.jsonl

数据结构与组织

• 数据划分: 训练集包含情节 0:48。
• 文件组织模式:
  • 数据文件路径模式: data/chunk-{id}/episode_{id}.parquet
  • 视频文件路径模式: videos/chunk-{id}/observation.images.cam_left_wrist_rgb/episode_{id}.mp{id}
  • 分块: 数据被组织成1个数据块，每个块大小为1000。
• 数据集结构树: 包含annotations、data、meta、videos目录，具体文件结构见原始README。

特征定义

数据集包含以下主要特征（详见完整YAML）：

• 观测图像 (observation.images.*): 来自四个相机视角的视频数据。
• 观测状态 (observation.state): 36维浮点数组，包含左右臂各6个关节、左右手各12个关节的弧度值。
• 动作 (action): 36维浮点数组，结构与观测状态对应。
• 其他特征: 包括时间戳、帧索引、情节索引、任务索引、子任务标注、场景标注、末端执行器仿真位姿/状态/动作、末端执行器方向/速度/加速度大小等。

相关链接与引用

• 项目主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码仓库: https://github.com/FlagOpen/RoboCOIN
• 贡献者: 北京智源人工智能研究院（BAAI）的RoboCOIN团队。
• 引用要求: 使用本数据集需引用指定的arXiv论文，并建议引用LeRobot框架。

版本信息

初始发布。