AIRBOT_MMK2_toy_storage

AIRBOT_MMK2_toy_storage是一个基于LeRobot的扩展格式的数据集，完全兼容LeRobot。它包含了各种机器人类型、代码库版本、末端执行器类型、场景类型、原子动作和子任务。数据集包含丰富的注释，包括子任务分割、场景描述、末端执行器方向、速度、加速度、抓手模式、抓手活动、末端执行器模拟姿态、抓手开启比例等。数据集分为训练和测试两部分，并按照LeRobot格式组织数据文件。数据集遵循Apache-2.0许可协议，并提供了详细的版本历史信息。

AIRBOT_MMK2_toy_storage is an extended-format dataset based on LeRobot, and it is fully compatible with LeRobot. It covers various robot types, codebase versions, end-effector types, scene types, atomic actions and subtasks. The dataset contains rich annotations including subtask segmentation, scene descriptions, end-effector orientation, velocity, acceleration, gripper mode, gripper activity, simulated end-effector pose, gripper opening ratio, and more. The dataset is divided into training and test subsets, and the data files are organized in LeRobot format. It follows the Apache-2.0 license agreement and provides detailed version history information.

原始信息汇总

AIRBOT_MMK2_toy_storage 数据集概述

基本信息

• 数据集名称: AIRBOT_MMK2_toy_storage
• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 标签: RoboCOIN, LeRobot
• 规模分类: 10K-100K

技术规格

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手
• 场景类型: 家庭环境
• 原子动作: 抓取、拾取、放置

数据集统计

指标	数值
总情节数	199
总帧数	28709
总任务数	4
总视频数	796
总块数	1
块大小	1000
帧率	30 FPS

数据内容

主要任务

• 双手拿起白色盘子上的小狗玩偶并放在桌子上
• 单手从桌子上拿起鲨鱼玩偶传递给另一只手，然后放入白色盖子中
• 一只手拿起积木放在一侧的粉色盘子里，另一只手将剩余积木放入对面的白色盘子中
• 双手拿起桌子上的鲨鱼玩偶并放入白色盖子中

子任务

包含12个不同的子任务：

1. 将鲸鱼从左夹爪传递到右夹爪
2. 结束
3. 用左夹爪抓取大绿色立方体积木
4. 用右夹爪抓取大红色立方体积木
5. 用左右夹爪抓取小狗
6. 用左夹爪抓取鲸鱼
7. 空
8. 用左夹爪将大绿色立方体积木放在粉色盘子上
9. 用右夹爪将大红色立方体积木放在白色盖子上
10. 用左右夹爪将小狗放在桌子上
11. 用右夹爪将鲸鱼放在白色盖子上
12. 静态

数据特征

视觉观测

• 4个相机视角：高角度RGB、左手腕RGB、右手腕RGB、第三视角
• 视频格式：AV1编码，480×640分辨率，30 FPS

状态与动作

• 观测状态：36维浮点数（关节位置）
• 动作数据：36维浮点数（关节控制）

标注信息

• 子任务标注：细粒度子任务分割和标注
• 场景标注：语义场景分类和描述
• 末端执行器标注：方向、速度、加速度分类
• 夹爪标注：开/关状态、活动状态

运动特征

• 末端执行器仿真位姿（6D位姿信息）
• 夹爪开合尺度测量
• 方向、速度、加速度分类

数据组织

文件结构

• 数据文件: Parquet格式，按块组织
• 视频文件: MP4格式，按相机视角组织
• 标注文件: JSONL格式
• 元数据文件: 包含数据集完整信息

数据分割

• 训练集: 情节0-198

相关资源

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

引用信息

如需在研究中使用本数据集，请引用相关论文： bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu et al.}, journal={arXiv preprint arXiv:2511.17441}, year={2025} }

版本历史

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，AIRBOT_MMK2_toy_storage数据集采用基于LeRobot框架的扩展格式构建，通过AIRBOT_MMK2双手机器人采集家庭环境中的物体操作数据。数据组织采用分块存储机制，将199个任务片段划分为1个数据块，每个块包含1000个片段，以Parquet格式保存状态与动作数据，并辅以四路视角的AV1编码视频流，帧率统一为30fps。

特点

该数据集在机器人操作任务中展现出多模态特性，涵盖抓取、拾取、放置三类原子动作，包含28709帧数据与796段视频。其标注体系尤为丰富，提供末端执行器的六维位姿、运动方向、速度及加速度分类，同时包含五指灵巧手的开合状态与活动模式标注。十二项子任务的精细划分与场景语义描述共同构成了层次化的学习框架。

使用方法

研究者可通过LeRobot兼容接口直接加载数据集，利用observation字段获取四路相机视角的视觉输入与36维关节状态，action字段则提供对应的控制指令。时间戳与帧索引支持时序分析，而subtask_annotation与scene_annotation支持分层任务学习。训练集涵盖0-198号任务片段，数据路径遵循chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet的规范结构。

背景与挑战

背景概述

在机器人操作研究领域，双手机器人协同作业一直是实现复杂任务的关键技术。AIRBOT_MMK2_toy_storage数据集由RoboCOIN团队于2025年11月发布，聚焦于家居环境中双手机器人的物品存储任务。该数据集基于LeRobot框架构建，包含199个任务片段和28709帧数据，覆盖抓取、拾取、放置等原子动作，通过四视角视频流和36维状态动作空间，为机器人模仿学习与行为规划研究提供了高精度标注的基准数据。

当前挑战

双手机器人操作面临动作协调性与环境适应性的双重挑战。该数据集需解决多指灵巧手的精细抓取、双手任务分配策略、以及动态避障等核心问题。在构建过程中，数据同步与标注一致性成为主要难点：四路高清视频流需保持严格时序对齐，而末端执行器的6D位姿、速度加速度等多模态数据融合要求精确的传感器校准。此外，家居场景中光照变化与物体遮挡进一步增加了数据采集的复杂性。

常用场景

经典使用场景

在机器人操作学习领域，AIRBOT_MMK2_toy_storage数据集为双手机器人抓取与放置任务提供了标准化实验平台。该数据集通过199个完整操作序列，系统记录了五指灵巧手在家庭环境中执行玩具收纳任务的动态过程。其多视角视觉数据与精细的动作标注，为模仿学习与强化学习算法提供了真实世界的训练样本，特别在双手协调操作、物体传递等复杂技能学习中展现重要价值。

解决学术问题

该数据集有效解决了机器人操作中动作分割与任务理解的学术难题。通过细粒度的子任务标注与运动特征量化，研究者能够深入分析双手协同操作的运动规划策略。丰富的末端执行器姿态、速度、加速度等多模态数据，为研究机器人操作中的动力学特性与运动控制优化提供了关键支撑，显著推进了机器人操作技能的可解释性与泛化能力研究。

衍生相关工作

基于该数据集衍生的研究已拓展至多个机器人学习方向。在RoboCOIN项目框架下，研究者开发了新型的双手机器人协同控制算法，同时该数据集与LeRobot生态系统的深度整合，催生了多任务操作学习、跨场景技能迁移等创新工作。其标准化的数据格式与丰富的标注体系，为后续机器人操作数据集的构建建立了重要范式。