AIRBOT_MMK2_place_the_paper_drawer

这个数据集使用基于LeRobot的扩展格式，并完全兼容LeRobot。数据集涵盖了家庭场景类型，并包括抓取、放置、拾取等原子动作。数据集包含688个场景，167196帧，15个任务和2752个视频。数据集还提供了丰富的注释，包括子任务分割、场景描述、末端执行器方向、速度、加速度、抓取模式、抓取活动等信息。数据集组织成1个大小为1000的块。

This dataset adopts an extended format based on LeRobot and is fully compatible with LeRobot. It covers household scenarios and includes atomic actions such as grasping, placing, picking, and others. The dataset contains 688 scenarios, 167,196 frames, 15 tasks, and 2,752 videos. Furthermore, it provides rich annotations including subtask segmentation, scenario descriptions, end-effector orientation, velocity, acceleration, grasping mode, grasping activity, and other relevant information. The dataset is structured into a single chunk sized 1000.

原始信息汇总

AIRBOT_MMK2_place_the_paper_drawer 数据集概述

基本信息

• 许可证: Apache-2.0
• 语言: 英语、中文
• 任务类别: 机器人学
• 标签: RoboCOIN, LeRobot
• 规模分类: 100K-1M

数据集规格

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

场景与动作

场景类型

• 家庭环境

原子动作

• 抓取
• 放置
• 拾取

统计信息

指标	数值
总情节数	688
总帧数	167196
总任务数	15
总视频数	2752
总块数	1
块大小	1000
帧率	30

任务描述

主要任务

包含15个双手操作任务，涵盖物品抓取、放置、转移等操作场景

子任务

包含70个具体子任务，涵盖各种物品的抓取和放置操作

数据特征

视觉观测

• 4个相机视角：高位RGB、左手腕RGB、右手腕RGB、第三视角
• 分辨率：480×640
• 帧率：30 FPS
• 编码：AV1

状态与动作

• 观测状态：36维浮点数（包含双臂和双手关节信息）
• 动作：36维浮点数（关节控制指令）

注释信息

• 子任务分割注释
• 场景级描述注释
• 末端执行器运动注释（方向、速度、加速度）
• 夹爪状态注释（模式、活动状态）

运动特征

• 末端执行器仿真位姿（6D姿态信息）
• 夹爪开合尺度测量

数据组织

文件结构

• 数据文件：Parquet格式，按块组织
• 视频文件：MP4格式，按相机视角组织
• 元数据：JSON格式

数据划分

• 训练集：情节0-687

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

贡献者

• RoboCOIN团队

引用格式

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu et al.}, journal={arXiv preprint arXiv:2511.17441} }

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，AIRBOT_MMK2_place_the_paper_drawer数据集采用基于LeRobot扩展格式构建，通过AIRBOT_MMK2双手机器人采集家庭环境下的操作数据。数据组织采用分块存储机制，将688个任务片段划分为1个数据块，每个片段包含完整的操作序列。采集过程中通过四路视角的RGB视频（分辨率480×640，帧率30fps）记录操作过程，并同步记录36维关节状态与动作数据，辅以精细的语义标注体系。

使用方法

研究者可通过LeRobot兼容接口加载数据集，数据按episode索引组织于parquet文件中。训练阶段可直接调用0-687号片段，利用多维特征进行模仿学习或强化学习算法开发。视觉流与状态动作数据的时序对齐支持端到端策略学习，子任务标注可用于分层强化学习研究。运动学特征如末端执行器位姿和抓取器开合尺度为精细操作分析提供量化依据，多视角视频数据支持跨视角表征学习与三维操作理解。

背景与挑战

背景概述

在机器人操作研究领域，双手机器人协同控制一直是提升复杂任务执行能力的关键方向。AIRBOT_MMK2_place_the_paper_drawer数据集由RoboCOIN团队于2024年构建，作为RoboCOIN项目的重要组成部分，该数据集聚焦于家庭环境下的双手精细操作任务。通过搭载五指灵巧手的AIRBOT_MMK2机器人平台，研究人员致力于解决多物体抓取、放置及协同操作等核心问题，其包含的688个任务片段和16万帧数据为模仿学习与强化学习算法提供了丰富训练素材，显著推动了家庭服务机器人操作技能的发展。

当前挑战

该数据集针对的领域挑战在于双手协同操作的时空协调难题，需要同时处理多物体抓取顺序、避碰策略和动态环境适应性。构建过程中面临三大技术挑战：多视角视觉数据同步采集需协调四个摄像头的高帧率视频流；复杂操作任务的细粒度标注要求对70种子任务进行精确分割；高维动作空间的建模难度体现在36维关节状态与动作数据的标准化处理。这些挑战共同构成了机器人操作技能学习的核心瓶颈。

常用场景

经典使用场景

在机器人操作学习领域，该数据集主要应用于双手机器人抓取与放置任务的算法训练。通过包含688个完整操作片段和167196帧数据，研究人员能够利用其丰富的多视角视觉信息与精细的动作标注，系统性地训练机器人执行物体抓取、转移和精准放置等核心操作技能。数据集涵盖的15种主要任务场景为算法验证提供了多样化基准。

解决学术问题

该数据集有效解决了机器人操作中动作分割与序列学习的核心难题。通过提供细粒度的子任务标注和末端执行器运动参数，使研究者能够深入分析双手协调操作的运动规划问题。其包含的36维关节状态与动作空间为模仿学习与强化学习算法提供了标准化实验平台，显著推进了复杂操作任务的分解与执行策略研究。

实际应用

在家庭服务机器人领域，该数据集支持开发具有实际应用价值的物品整理系统。通过模拟真实家庭环境中的物品操作场景，如餐具摆放、食品归类等任务，为服务机器人提供了可靠的训练数据。其包含的五指灵巧手操作数据特别适用于开发需要精细抓握的家居辅助机器人，推动家庭自动化技术向更高水平发展。

数据集最近研究

最新研究方向

在家庭服务机器人领域，AIRBOT_MMK2数据集凭借其精细化的双手操作标注体系，正推动模仿学习与多模态感知的深度融合。该数据集通过70种原子动作的细粒度分割，结合四视角视觉数据与末端执行器运动轨迹，为双手机器人的动态抓取策略研究提供了丰富样本。随着具身智能研究热潮的兴起，该数据集在复杂场景下的双手协同操作能力评估、基于物理仿真的动作迁移等方向展现出重要价值，其兼容LeRobot框架的特性更促进了开源机器人生态的算法迭代与性能突破。