AIRBOT_MMK2_item_storage

AIRBOT_MMK2_item_storage 数据集是基于 LeRobot 扩展格式的机器人数据集，用于研究机器人操作。它使用 AIRBOT_MMK2 机器人和五指手末端执行器，主要关注家庭环境中的物品操作任务。数据集包括各种原子动作，如抓取、拾取和放置物品。它具有丰富的子任务、场景、末端执行器和抓取器注释，提供了详细的运动和状态信息。数据集被组织成一个单一的数据块，并分为训练集和测试集。该数据集在 Apache-2.0 许可证下发布，用户在使用该数据集进行研究时，应引用相关的论文和框架。

The AIRBOT_MMK2_item_storage dataset is a robotics dataset based on the LeRobot extended format, dedicated to robotic manipulation research. It employs the AIRBOT_MMK2 robot and five-fingered hand end-effectors, with a primary focus on object manipulation tasks in household environments. The dataset includes various atomic actions such as grasping, picking up, and placing objects. It contains rich annotations for subtasks, scenarios, end-effectors and grippers, offering detailed motion and state information. The dataset is organized as a single data block and split into training and test sets. This dataset is released under the Apache-2.0 license, and users are required to cite the relevant papers and frameworks when utilizing the dataset for research purposes.

原始信息汇总

AIRBOT_MMK2_item_storage 数据集概述

基本信息

• 数据集名称: AIRBOT_MMK2_item_storage
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 标签: RoboCOIN、LeRobot
• 规模分类: 10K-100K

技术规格

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: five_finger_hand

场景与动作

• 场景类型: home
• 原子动作: grasp、pick、place

数据集统计

指标	数值
总情节数	72
总帧数	18773
总任务数	2
总视频数	288
总分块数	1
分块大小	1000
帧率	30

任务描述

主要任务

• 用一只手将雨伞放在白色盖子上，然后用另一只手将蓝色瓶子放在白色盖子上
• 同时用双手拿起大小碗，同时放入黄色桶中

子任务

包含11个不同的子任务：

1. End
2. Grasp the bowl with the left gripper
3. Grasp the bowl with the right gripper
4. Grasp the cup with the right gripper
5. Grasp the umbrella with the left gripper
6. null
7. Place the bowl into the yellow basket with the right gripper
8. Place the bowl into the yellow basket with the left gripper
9. Place the cup into the white basket with the right gripper
10. Place the umbrella into the white basket with the left gripper
11. Static

数据特征

视觉观测

• 4个相机视角: cam_high_rgb、cam_left_wrist_rgb、cam_right_wrist_rgb、cam_third_view
• 视频规格: 480×640分辨率，30FPS，AV1编码

状态与动作

• observation.state: float32[36] - 机器人关节状态
• action: float32[36] - 机器人动作命令

注释信息

• 子任务注释: 细粒度子任务分割和标注
• 场景注释: 语义场景分类和描述
• 末端执行器注释: 方向、速度、加速度分类
• 夹爪注释: 模式（开/关）、活动状态

运动特征

• 末端执行器仿真位姿: 6D位姿信息（位置和方向）
• 夹爪开合尺度: 连续夹爪开合测量

数据组织

文件结构

• 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

数据分割

• 训练集: 情节0-71

作者与链接

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

版本信息

• 初始版本: v1.0.0 (2025年11月)

搜集汇总

数据集介绍

构建方式

在机器人操作数据集的构建领域，AIRBOT_MMK2_item_storage数据集采用基于LeRobot框架的扩展格式进行系统化构建。该数据集通过AIRBOT_MMK2双手机器人平台采集，配备五指灵巧手作为末端执行器，在家庭场景中记录物品存储相关的操作任务。数据采集过程包含72个完整操作序列，总计18773帧视觉与状态数据，通过分块存储机制将数据组织为单个数据块，每个数据块容量为1000个操作片段，并以30帧率同步记录四路高清视频流。

特点

该数据集在机器人操作数据领域展现出多模态融合的显著特点。其核心特征体现在四路同步视觉观测系统，包含高位视角、左右腕部视角及第三方视角的RGB视频流，共同构成480×640分辨率的立体视觉感知网络。数据集提供36维关节状态与动作空间的全参数化描述，涵盖双臂12个关节与双手24个手指关节的精确运动轨迹。特别值得关注的是其丰富的语义标注体系，包含11类细粒度子任务分割、场景语义分类以及末端执行器的运动方向、速度、加速度等多维度运动特征标注，为复杂操作策略的学习提供结构化支撑。

使用方法

在机器人学习研究实践中，该数据集可通过LeRobot兼容接口进行高效调用。研究人员可通过标准数据加载流程访问存储于parquet格式的结构化数据，其中观测数据包含四路视频流与36维状态向量，动作空间则对应相同的维度结构。数据集采用分块存储架构，通过chunk-000目录下的episode索引文件实现快速数据检索，支持按操作片段加载完整的多模态数据流。典型使用场景包括双手机器人操作策略的模仿学习、多任务强化学习算法的训练验证，以及操作轨迹生成模型的评估测试，其丰富的运动学标注更为精细的动作语义分析提供可能。

背景与挑战

背景概述

在机器人操作研究领域，双手机器人协同作业一直是实现复杂任务的关键技术方向。AIRBOT_MMK2_item_storage数据集由RoboCOIN团队于2025年11月首次发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于家庭环境中的物品存储任务。通过AIRBOT_MMK2型机器人搭载五指灵巧手的操作记录，数据集系统采集了抓取、拾取、放置等原子动作的72个完整操作序列，涵盖18773帧多视角视频数据与丰富的运动轨迹标注。其基于LeRobot框架的标准化格式设计，为机器人模仿学习与策略优化提供了高精度仿真与实机交互的基准数据，显著推进了双臂协调控制算法的可复现性研究。

当前挑战

双手机器人操作任务面临动作时序同步与空间避障的双重复杂性，该数据集针对物品精准抓取与稳定放置的物理交互难题，需解决多关节协同运动中的动态平衡控制与抓握力自适应调节。构建过程中存在多模态数据对齐的技术挑战，包括四路高清视频流与36维关节状态数据的毫秒级同步采集，以及五指灵巧手细微操作动作的精细化标注。此外，家庭场景下光照变化与物体位姿随机性对数据一致性提出更高要求，需通过多传感器融合与仿真标定确保运动轨迹数据的物理真实性。

常用场景

经典使用场景

在机器人操作学习领域，AIRBOT_MMK2_item_storage数据集为双手机器人协同操作研究提供了典型范例。该数据集通过18773帧多视角视频数据，完整记录了五指灵巧手执行抓取、拾取、放置等基础动作的时序过程。其经典应用体现在双任务并行执行场景中，例如同时操控碗具与伞具的复杂序列，为机器人动作分割与任务规划算法验证建立了标准化基准。

实际应用

在家庭服务机器人领域，该数据集支撑了物品整理与收纳系统的开发实践。基于72个完整操作序列构建的居家场景数据，可直接应用于智能家居系统中的自主物品归位算法训练。其多摄像头视角配置与精细的抓取动作标注，为机器人应对日常物品的形态多样性提供了可靠的学习样本，显著提升了家庭环境下机器人操作任务的适应性与鲁棒性。

衍生相关工作

基于该数据集衍生的经典研究主要集中在分层强化学习与模仿学习框架的优化。RoboCOIN项目团队通过整合LeRobot生态系统的技术优势，开发了面向复杂操作任务的课程学习策略。相关研究通过解析双手协同操作中的子任务依赖关系，构建了基于注意力机制的动作预测模型，为长时序操作任务的分解与执行提供了创新性解决方案。