AIRBOT_MMK2_storage_item

AIRBOT_MMK2_storage_item数据集是基于LeRobot扩展格式构建的，与LeRobot完全兼容。数据集使用了AIRBOT_MMK2机器人，代码库版本为v2.1，末端执行器类型为五指手。数据集涵盖了家庭场景类型，并包括抓取、放置、拾取等原子动作。数据集统计信息显示，总共有47个剧集、8573帧、1个任务、188个视频和1个数据块。数据集提供了丰富的注释，包括子任务分割、场景级描述、末端执行器方向、速度、加速度、抓手模式、抓手活动等。数据集还包含了附加功能，如末端执行器模拟姿态和抓手开启比例。数据集被组织成训练和测试分割，并遵循特定的文件组织模式。数据集的结构包括视频、状态数据、动作数据、元数据和注释。数据集的特点包括视觉观察、状态和动作、时间信息、注释、运动特征和抓手特征。数据集的目录结构包括注释、数据、元数据和视频目录。数据集使用Apache-2.0许可证发布，并提供了联系和支持信息。研究人员在引用数据集时可以使用提供的引用格式。数据集的版本历史显示，初始版本为1.0.0，发布于2025年11月。

原始信息汇总

AIRBOT_MMK2_storage_item 数据集概述

📋 数据集基本信息

• 数据集名称: AIRBOT_MMK2_storage_item
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 规模类别: 1K-10K
• 格式兼容性: 基于LeRobot扩展格式，完全兼容LeRobot

🤖 机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

🏠 场景类型

• 家庭环境

⚡ 原子动作

• 抓取
• 放置
• 拾取

📊 数据集统计

指标	数值
总情节数	47
总帧数	8573
总任务数	1
总视频数	188
总分块数	1
分块大小	1000
帧率	30

🎯 任务描述

主要任务

用一只手从桌子上拿起积木块放入碗中，然后用另一只手从桌子上拿起卷尺放入小托盘中。

子任务

包含8个不同的子任务：

1. 异常
2. 结束
3. 用左手抓取绿色矩形块
4. 用右手抓取卷尺
5. 空
6. 用左手将绿色矩形块放入蓝色碗中
7. 用右手将卷尺放入粉色托盘中
8. 静态

🎥 视觉数据

相机视角

包含4个相机视角：

• 高位RGB相机
• 左手腕RGB相机
• 右手腕RGB相机
• 第三视角相机

视频规格

• 分辨率：480×640
• 帧率：30 FPS
• 编码格式：av1
• 像素格式：yuv420p

🏷️ 标注信息

子任务标注

• 细粒度子任务分割和标注

场景标注

• 语义场景分类和描述

末端执行器标注

• 运动方向分类
• 速度大小分类
• 加速度大小分类

夹爪标注

• 开/关状态标注
• 活动状态分类

📊 数据特征

视觉观测

• observation.images.cam_high_rgb
• observation.images.cam_left_wrist_rgb
• observation.images.cam_right_wrist_rgb
• observation.images.cam_third_view

状态与动作

• observation.state: float32[36]
• action: float32[36]

运动特征

• 末端执行器仿真位姿（状态和动作）
• 末端执行器方向（状态和动作）
• 末端执行器速度（状态和动作）
• 末端执行器加速度（状态和动作）

时间信息

• 时间戳
• 帧索引
• 情节索引
• 任务索引

📂 数据组织

文件结构

• 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

数据分割

• 训练集: 情节0-46

👥 贡献者

• RoboCOIN团队

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📄 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

📌 版本信息

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，AIRBOT_MMK2_storage_item数据集基于LeRobot框架进行扩展构建，采用双手机器人AIRBOT_MMK2在家庭环境中执行物品存储任务。数据采集通过47个完整操作片段实现，涵盖8573帧视觉与状态记录，以30帧率的多视角视频和36维关节状态数据同步捕获操作过程。数据集采用分块存储结构，将动作序列按1000帧规模组织为Parquet格式，确保数据高效访问与完整性。

特点

该数据集显著特点在于其多模态注释体系，不仅包含四路高清摄像头采集的视觉数据，还提供末端执行器的六维位姿、运动方向与加速度等精细标注。双手协同操作的特性通过左右机械臂独立的状态动作向量得以体现，同时细分出抓取、放置等原子动作的时序标签。丰富的元数据架构支持从低级关节控制到高级任务理解的跨层次研究，为双臂操作算法开发提供立体化数据支撑。

使用方法

研究者可通过LeRobot兼容接口直接加载数据集，利用标准化的数据分块路径访问训练集片段。每个episode包含同步的多视角视频流、关节状态轨迹及动作指令，配合分层注释可实现模仿学习、强化学习等算法验证。数据集的模块化结构支持灵活提取视觉观察、运动学特征或任务语义标签，其完善的元数据规范便于扩展新的分析维度，推动双臂操作研究的可复现性发展。

背景与挑战

背景概述

在机器人操作研究领域，双手机器人协同作业已成为提升复杂任务执行能力的关键方向。AIRBOT_MMK2_storage_item数据集由RoboCOIN团队于2025年发布，依托Apache 2.0开源协议构建，旨在推动家庭场景下的双臂物体操作研究。该数据集基于LeRobot框架扩展，收录了47个任务片段与8573帧多视角视频数据，聚焦于抓取、放置等基础动作的精细标注，为机器人模仿学习与动作规划提供了高精度仿真环境下的六维位姿、末端执行器运动参数等关键特征。

当前挑战

双手机器人操作需解决动态环境下的抓取稳定性与双手协调性问题，该数据集通过多视角视觉观测与关节级动作标注应对物体形变、遮挡等复杂交互场景。构建过程中面临多传感器数据同步、高维状态空间标注一致性等挑战，研究者需在异构数据融合与长时序动作分割中平衡计算效率与模型泛化能力。

常用场景

经典使用场景

在机器人操作学习领域，AIRBOT_MMK2_storage_item数据集为双手机器人协同操作提供了标准化的研究平台。该数据集通过47个完整操作序列，详细记录了五指灵巧手在家庭环境中执行物品抓取、放置等基础动作的全过程。其多视角视觉观测与丰富的运动状态标注，为模仿学习、强化学习等算法提供了高质量的示范数据，特别适用于研究双手协调操作中的时序动作规划问题。

实际应用

在工业自动化与家庭服务机器人领域，该数据集具有重要的实际应用价值。其记录的双手协调操作模式可直接应用于物流分拣、装配制造等工业场景中的物品搬运任务。数据集涵盖的五指灵巧手操作数据，为开发具备精细操作能力的服务机器人提供了技术基础，有望在老年照护、家居整理等场景中实现自动化物品管理功能。

衍生相关工作

基于该数据集衍生的研究工作主要集中在机器人操作学习的多个前沿方向。在模仿学习领域，研究者利用其丰富的示范数据开发了基于视觉的运动策略生成模型；在强化学习方面，该数据集为离线强化学习算法提供了高质量的专家示范数据。同时，其多模态数据特性也催生了视觉-运动联合表征学习等新兴研究方向，推动了机器人操作智能的技术发展。