AIRBOT_MMK2_storage_for_building_blocks_and_beauty_sponges

该数据集基于LeRobot的扩展格式，完全兼容LeRobot。它专注于涉及与积木和美容海绵等物体交互和操作的机器人任务。数据集包括各种注释和特征，支持多种学习方法，包括子任务分割、场景描述、末端执行器运动数据和抓手状态信息。数据集被组织成多个剧集，每个剧集包含视频记录、状态数据、动作数据和元数据，并组织成块以方便高效访问。数据集在Apache-2.0许可下发布，由RoboCOIN团队贡献。

原始信息汇总

AIRBOT_MMK2_storage_for_building_blocks_and_beauty_sponges 数据集概述

基本信息

• 许可证: apache-2.0
• 语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 规模: 10K-100K

数据集规格

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

场景与动作

• 场景类型: 家庭环境
• 原子动作: 抓取、放置、拾取

统计信息

指标	数值
总情节数	150
总帧数	33906
总任务数	3
总视频数	600
总分块数	1
分块大小	1000
帧率	30

作者信息

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

任务描述

主要任务

• 用一只手从盘子中取出海绵放在桌上，用另一只手从桌上拿起鼠标盒放在盘子上
• 用一只手从盘子中取出饮料放在桌上，用另一只手从桌上拿起湿巾放在盘子上
• 用一只手从盘子中取出美妆蛋放在桌上，用另一只手从桌上拿起积木放在盘子上

子任务

包含16个不同的子任务，涵盖抓取和放置操作

数据特征

视觉观测

• 4个相机视角：高角度RGB、左手腕RGB、右手腕RGB、第三视角
• 分辨率：480×640×3
• 编码格式：av1

状态与动作

• 状态数据：36维浮点数组（关节位置）
• 动作数据：36维浮点数组（关节控制）

注释信息

• 子任务注释：细粒度分割和标注
• 场景注释：语义场景分类
• 末端执行器注释：方向、速度、加速度
• 夹爪注释：模式、活动状态

运动特征

• 末端执行器仿真位姿（状态和动作）
• 方向分类（状态和动作）
• 速度分类（状态和动作）
• 加速度分类（状态和动作）

数据组织

文件结构

• 数据文件: Parquet格式，按分块组织
• 视频文件: MP4格式，按相机视角组织
• 元数据: JSON格式，包含数据集信息

数据划分

• 训练集: 情节0-149

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据集构建领域，AIRBOT_MMK2_storage_for_building_blocks_and_beauty_sponges采用基于LeRobot框架的扩展格式进行系统化采集。该数据集通过AIRBOT_MMK2双手机器人平台，在家庭场景中执行包含抓取、放置、拾取等原子动作的复杂操作任务。数据采集过程涵盖150个完整交互片段，总计33906帧视觉数据，通过四路高清摄像头以30帧率同步记录机械臂运动轨迹与末端执行器状态，并以分块存储的parquet格式保证数据读取效率。

特点

该数据集的核心特征体现在多模态数据融合与精细动作标注的完整性。其包含四路视角的视觉观测数据，分别来自高位全局视角、左右腕部视角及第三方视角，每路视频均采用AV1编码保障画质与压缩平衡。动作状态数据涵盖36维关节空间信息，并特别提供末端执行器的六维位姿、运动方向、速度及加速度等多层次运动特征。通过16类子任务标注体系与场景语义标注，为模仿学习与行为理解研究提供结构化支撑。

使用方法

针对机器人技能学习的研究需求，该数据集可通过LeRobot标准接口进行高效加载与处理。研究者可直接读取parquet格式的状态-动作序列，或调用预封装的视频流接口获取多视角视觉观测。数据集采用单一训练划分（0-149片段），支持端到端策略学习、动作分割分析、多模态表征学习等典型任务。通过末端执行器仿真位姿与抓取器开合尺度等专用特征，可进一步开展双臂协调控制与精细操作的能力评估。

背景与挑战

背景概述

在机器人操作研究领域，双手机器人协同作业一直是实现复杂任务的关键技术方向。AIRBOT_MMK2_storage_for_building_blocks_and_beauty_sponges数据集由RoboCOIN团队于2025年发布，依托LeRobot框架构建，专注于家庭环境中积木与美妆海绵的存储任务。该数据集通过AIRBOT_MMK2双手机器人平台，采集了包含抓取、放置、拾取等原子动作的150个任务片段，涵盖33906帧多视角视频数据。其核心研究目标在于解决双手机器人在非结构化环境中的物体转移与空间重组问题，为机器人模仿学习与强化学习算法提供了丰富的多模态训练资源。

当前挑战

该数据集致力于应对双手机器人操作中任务序列规划的复杂性挑战，例如双手交替执行物体转移时的动作同步与避碰问题。构建过程中需克服多传感器数据融合的技术难点，包括四路摄像头视频流与36维关节状态数据的时空对齐。此外，精细的末端执行器运动标注要求解决高维度姿态估计的精度问题，而家居场景的多样性则增加了环境泛化能力的验证难度。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过构建积木与美妆海绵的存储任务，为双手协调操作研究提供了标准化的实验平台。其核心应用聚焦于双臂机器人在家庭环境中的物品转移任务，涵盖抓取、放置和拾取等基础动作序列。多视角视觉数据与精细的动作标注共同支撑了从感知到控制的完整学习流程，为模仿学习与强化学习算法提供了丰富的训练样本。

实际应用

面向家庭服务机器人的实际需求，该数据集直接支撑智能仓储管理与日常物品整理系统的开发。通过模拟真实家居场景中的物体搬运任务，其训练模型可应用于自动化物流分拣、老年辅助护理等垂直领域。多指灵巧手的操作数据更为复杂环境下的精细抓取策略优化提供了技术储备。

衍生相关工作

基于该数据集衍生的经典研究包括RoboCOIN项目中的分层强化学习框架，以及融合多传感器信息的动作预测模型。这些工作通过利用数据集提供的精细运动注解与多视角视频流，显著推进了双臂机器人的任务级规划能力。后续研究进一步拓展了基于本数据的跨领域迁移学习方法，在机器人操作学习的通用性方面取得突破性进展。