AIRBOT_MMK2_place_the_building_blocks

AIRBOT_MMK2_place_the_building_blocks数据集是基于LeRobot扩展格式的，与LeRobot完全兼容。数据集涵盖了家庭场景，并包括抓取、打开和持有等原子动作。数据集包含43个剧集，14173帧，1个任务和172个视频。数据集提供了丰富的注释，包括子任务分割、场景描述、末端执行器方向、速度和加速度分类，以及夹具模式和控制活动状态。此外，数据集还包含了末端执行器模拟姿态和夹具开启尺度等附加特征。数据集分为训练集和测试集，并按照特定的文件组织和特征模式进行结构化。

原始信息汇总

AIRBOT_MMK2_place_the_building_blocks 数据集概述

基本信息

• 数据集名称: AIRBOT_MMK2_place_the_building_blocks
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 规模分类: 10K-100K

技术规格

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

场景与动作

• 场景类型: 家庭环境
• 原子动作: 抓取、打开、保持

数据集统计

指标	数值
总情节数	43
总帧数	14173
总任务数	1
总视频数	172
总分块数	1
分块大小	1000
帧率	30

任务描述

主要任务

将红色积木放入桌子上的一个盘子中，将绿色积木放入另一个盘子中

子任务

1. 异常状态
2. 结束状态
3. 用右手夹具抓取绿色长方体积木
4. 用左手夹具抓取红色长方体积木
5. 空状态
6. 用右手夹具将绿色长方体积木放入盘子
7. 用左手夹具将红色长方体积木放入盘子
8. 静态状态

数据特征

视觉观测

• 4个摄像机视角：高位RGB、左手腕RGB、右手腕RGB、第三视角
• 分辨率：480×640×3
• 帧率：30 FPS
• 编码：AV1

状态与动作

• 观测状态：36维浮点数（关节位置）
• 动作：36维浮点数（关节控制）
• 时间信息：时间戳、帧索引、情节索引等

标注信息

• 子任务标注：细粒度子任务分割和标注
• 场景标注：语义场景分类和描述
• 末端执行器标注：方向、速度、加速度
• 夹具标注：模式（开/关）、活动状态

运动特征

• 末端执行器仿真位姿（12维）
• 末端执行器方向、速度、加速度分类

数据组织

文件结构

• 数据文件：Parquet格式
• 视频文件：MP4格式
• 分块组织：1个分块，每个分块1000个情节

数据划分

• 训练集：情节0-42

作者与链接

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据集的构建领域，该数据集采用基于LeRobot框架的扩展格式进行系统化构建。通过AIRBOT_MMK2双手机器人平台，在家庭场景中执行积木分类放置任务，完整记录了43个任务片段、14173帧数据。数据采集采用四路摄像头同步记录，包括高位视角、左右腕部视角及第三方视角，以30帧率捕捉RGB视频流。数据组织采用分块存储机制，将1000个片段整合为单一数据块，并以parquet格式保存状态、动作及丰富注释信息。

特点

该数据集在机器人操作领域展现出多模态融合的显著特征。视觉观测方面提供四路高清视频流，涵盖不同视角的机器人操作过程。运动特征包含完整的末端执行器6D位姿信息，详细记录位置与方向数据。注释体系设计精细，包含子任务分割、场景分类及运动学参数标注。特别值得关注的是，数据集提供了末端执行器的方向、速度、加速度分类，以及抓取器开合状态与活动状态的多维度标注，为复杂操作策略的学习提供全面支持。

使用方法

在机器人学习研究实践中，该数据集可通过LeRobot框架直接加载使用。研究人员可利用其丰富的多模态数据进行模仿学习、强化学习等算法训练。数据按训练集划分，涵盖0至42号任务片段，支持端到端的策略学习。使用时可通过标准数据路径模式访问parquet格式的状态动作数据，配合视频文件进行视觉-运动协同学习。注释信息可用于细粒度任务分解研究，末端执行器运动特征则适用于精细操作策略的分析与优化。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同作业一直是研究热点，AIRBOT_MMK2_place_the_building_blocks数据集应运而生。该数据集由RoboCOIN团队于2025年11月发布，依托LeRobot框架构建，专注于解决家庭环境中双手机器人的精细物体分拣任务。数据集采用AIRBOT_MMK2机器人平台与五指灵巧手末端执行器，通过43个任务片段和14173帧多视角视频数据，记录了将红绿积木分别放置至对应盘子的完整操作流程。其核心研究问题在于探索双手机器人在复杂家庭场景下的协同抓取与放置策略，为机器人模仿学习与操作规划提供了高质量基准。

当前挑战

该数据集致力于解决双手机器人操作中的多模态感知与协同控制难题。具体挑战包括：在领域问题层面，需克服双机械臂运动轨迹的实时协调、物体抓取姿态的精确估计、以及动态环境下的避障规划；在构建过程中，面临多摄像头数据同步校准、高维度动作空间标注、以及仿真与真实世界数据一致性的验证困难。此外，五指灵巧手的精细操作数据采集需要解决传感器噪声抑制与动作序列分段标注的复杂度问题。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过双手机械臂积木分类任务构建了经典的行为克隆研究场景。其多视角视觉数据与精细的动作标注为模仿学习算法提供了完整的演示轨迹，涵盖抓取、持握、放置等基础操作序列。研究人员能够基于该数据集训练端到端的策略网络，学习从视觉观察到关节控制的映射关系，这种范式显著提升了机器人操作技能的泛化能力。

实际应用

在工业自动化与家庭服务机器人领域，该数据集支撑了物体分拣系统的技术落地。基于数据驱动的控制策略可应用于物流分拣、药品装配等精细化操作场景。其双手协同操作范式为复杂装配任务提供了解决方案，而家居环境的场景设置则直接服务于老年护理、智能家居等实际应用需求，加速了服务机器人的场景适配进程。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，包括基于LeRobot框架的跨模态预训练模型和分层策略网络架构。研究者利用其多视角视频数据开发了视觉运动对应算法，同时精细的动作标注促进了动态运动基元的学习方法发展。这些衍生工作共同推动了机器人操作技能的可迁移性与自适应能力的技术进步。