AIRBOT_MMK2_storage_computer_box

AIRBOT_MMK2_storage_computer_box 是一个用于机器人研究的开源数据集，基于 LeRobot 格式，与 LeRobot 完全兼容。该数据集使用 AIRBOT_MMK2 机器人，代码库版本为 v2.1，末端执行器为五指手。数据集包含 50 个场景，10024 帧，1 个任务，200 个视频，1 个数据块，大小为 1000，帧率为 30。数据集包含丰富的注释，包括子任务分割、场景描述、末端执行器方向、速度、加速度、抓手模式、抓手活动等。数据集组织为训练集和测试集，并遵循 LeRobot 格式。数据集在 Apache-2.0 许可证下发布。

原始信息汇总

AIRBOT_MMK2_storage_computer_box 数据集概述

📋 数据集基本信息

• 数据集名称: AIRBOT_MMK2_storage_computer_box
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 规模分类: 10K-100K
• 格式兼容性: 基于LeRobot扩展格式，完全兼容LeRobot

🤖 机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

🏠 场景与动作

场景类型

• 家庭环境

原子动作

• 抓取
• 放置
• 拾取

📊 数据集统计

指标	数值
总情节数	50
总帧数	10024
总任务数	1
总视频数	200
总分块数	1
分块大小	1000
帧率	30

🎯 任务描述

主要任务

用一只手从桌子上拿起计算机盒，转移到另一只手，然后将其放入白色盖子内

子任务

1. 将计算器盒从左夹爪传递到右夹爪
2. 结束
3. 用左夹爪抓取计算器盒
4. 空
5. 用右夹爪将计算器盒放入白色篮子中

🎥 数据采集

相机视角

• 包含4个相机视角

视觉观测特征

• observation.images.cam_high_rgb: 视频，30FPS，AV1编码
• observation.images.cam_left_wrist_rgb: 视频，30FPS，AV1编码
• observation.images.cam_right_wrist_rgb: 视频，30FPS，AV1编码
• observation.images.cam_third_view: 视频，30FPS，AV1编码

🏷️ 标注信息

子任务标注

• 细粒度子任务分割和标注

场景标注

• 场景级语义分类和描述

末端执行器标注

• 方向：机器人末端执行器运动方向分类
• 速度：操作过程中的速度大小分类
• 加速度：运动分析的加速度大小分类

夹爪标注

• 夹爪模式：夹爪开/闭状态标注
• 夹爪活动：活动状态分类（活动/非活动）

📁 数据结构

数据文件组织

• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 分块: 数据组织为1个分块，每个分块大小1000

特征架构

状态与动作

• observation.state: float32，36维关节状态
• action: float32，36维关节动作

时间信息

• timestamp: float32
• frame_index: int64
• episode_index: int64
• index: int64
• task_index: int64

运动特征

• eef_sim_pose_state: float32，12维末端执行器仿真位姿状态
• eef_sim_pose_action: float32，12维末端执行器仿真位姿动作
• eef_direction_state: int32，2维末端执行器方向状态
• eef_direction_action: int32，2维末端执行器方向动作
• eef_velocity_state: int32，2维末端执行器速度状态
• eef_velocity_action: int32，2维末端执行器速度动作
• eef_acc_mag_state: int32，2维末端执行器加速度大小状态
• eef_acc_mag_action: int32，2维末端执行器加速度大小动作

📂 数据划分

• 训练集: 情节0-49

👥 贡献者

• RoboCOIN团队

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 项目页面: https://flagopen.github.io/RoboCOIN/
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📚 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，AIRBOT_MMK2_storage_computer_box数据集通过AIRBOT_MMK2双手机器人平台采集，采用五指灵巧手执行抓取、放置等原子动作。数据以LeRobot扩展格式组织，包含50个完整操作片段，总计10024帧视觉与状态数据，通过分块存储机制将数据划分为1个容量为1000的区块，确保高效访问与处理。

特点

该数据集在机器人操作任务中展现出多模态特性，集成四路高清摄像头视角（包括高位、左右腕部及第三视角），提供480x640分辨率的RGB视频流。其标注体系涵盖细粒度子任务分割、末端执行器六维位姿、运动方向与加速度分类，以及抓取器开合状态监测，形成36维关节状态与动作向量的完整描述，为模仿学习与策略优化提供丰富监督信号。

使用方法

研究者可通过LeRobot兼容接口直接加载数据集，利用标准数据路径模式访问区块化存储的Parquet文件与MP4视频流。训练阶段可调用四路视觉观测、关节状态轨迹及多层级动作标注，结合末端执行器运动学特征进行行为克隆或强化学习算法验证。数据划分明确指定0-49片段为训练集，支持开箱即用的机器人操作模型开发与评估流程。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同作业一直是实现复杂任务的关键技术方向。AIRBOT_MMK2_storage_computer_box数据集由RoboCOIN团队于2025年发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于家庭环境中的物体转移任务。通过AIRBOT_MMK2型双手机器人配合五指灵巧手，数据集记录了完整的抓取-传递-放置操作序列，其核心研究问题在于解决双手机器人在动态环境中的精细操作与任务分解能力。该数据集基于LeRobot框架扩展构建，包含多视角视频流与丰富的运动学标注，为模仿学习与强化学习算法提供了高质量的训练资源，显著推进了机器人双手协调操作的研究进程。

当前挑战

该数据集致力于解决双手机器人操作中的动作协调与物体传递难题，具体包括双手抓取时序同步、物体姿态稳定性控制、以及跨手传递过程中的轨迹规划等核心挑战。在构建过程中，研究团队面临多传感器数据同步精度保障、高维度动作空间标注一致性、以及灵巧手精细操作的数据采集复杂度等问题。此外，四路高清视频流与36维关节状态数据的实时处理对存储架构提出了严格要求，而复杂场景下的动作分割与语义标注更需要人工校验与算法辅助的双重保障机制。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过双手机械臂协同操作场景，为模仿学习与强化学习算法提供了标准化的训练环境。其核心任务涉及从桌面抓取计算器盒并在双手间传递后放置于指定容器的完整流程，涵盖了抓取、放置等基础操作动作。多视角视觉观测与精细的末端执行器运动标注为机器人动作分解与轨迹规划研究奠定了数据基础。

实际应用

在工业自动化与家庭服务机器人领域，该数据集支撑了物品分拣、精密装配等实际场景的技术开发。通过模拟真实家居环境中的物体转移任务，为服务型机器人的抓取操作标准化提供了参考范式。其双手机械臂协同操作模式特别适用于物流分拣、电子产品组装等需要精细操作的产业场景，推动了机器人操作技术从实验室向实际应用的转化进程。

衍生相关工作

基于该数据集衍生的经典研究包括RoboCOIN项目提出的多智能体协同操作框架，以及LeRobot生态系统中基于模仿学习的双手机械臂控制算法。这些工作通过利用数据集中的多视角视觉序列与运动学标注，开发了端到端的操作策略生成模型。后续研究进一步扩展了数据集的标注体系，在动作分割、动态手势识别等方向形成了系列创新成果。