AIRBOT_MMK2_desktop_storage

AIRBOT_MMK2_desktop_storage 数据集是一个基于 LeRobot 格式的扩展数据集，完全兼容 LeRobot。该数据集使用的是 AIRBOT_MMK2 机器人，代码库版本为 v2.1，末端执行器类型为五指手。数据集涵盖了家庭场景，包括抓取、捡起和放置等原子动作。数据集包含丰富的注释，支持多种学习方式，如子任务分割、场景描述、末端执行器运动方向、速度和加速度分类、抓取器模式和控制状态等。数据集被分为训练集和测试集，数据文件以 .parquet 格式存储，视频文件以 .mp4 格式存储。数据集还包含元信息，如代码库版本、机器人类型、总剧集数、总帧数、总任务数、总视频数、总块数、块大小和帧率等。

原始信息汇总

AIRBOT_MMK2_desktop_storage 数据集概述

基本信息

• 数据集名称: AIRBOT_MMK2_desktop_storage
• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN、LeRobot
• 规模分类: 1K-10K

技术规格

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手
• 场景类型: 家庭环境
• 原子动作: 抓取、拾取、放置

数据集统计

指标	数值
总情节数	13
总帧数	3939
总任务数	1
总视频数	52
总分块数	1
分块大小	1000
帧率	30 FPS

任务描述

主要任务

用一只手将鼠标盒堆叠在计算机盒上，同时用另一只手将咖啡杯放在盘子上

子任务

1. 结束
2. 用右手抓取咖啡
3. 用左手抓取鼠标盒
4. 空
5. 用右手将咖啡放入盘子
6. 用左手将鼠标盒放在计算器盒上
7. 静态

数据特征

视觉观测

• 4个相机视角：
  • cam_high_rgb（高位RGB）
  • cam_left_wrist_rgb（左手腕RGB）
  • cam_right_wrist_rgb（右手腕RGB）
  • cam_third_view（第三视角）
• 分辨率：480×640×3
• 编码格式：AV1
• 帧率：30 FPS

状态与动作

• 状态观测: float32[36]（包含左右臂和手部关节角度）
• 动作数据: float32[36]（关节控制命令）

时间信息

• 时间戳、帧索引、情节索引、任务索引

标注信息

子任务标注

• 细粒度子任务分割和标注

场景标注

• 语义场景分类和描述

末端执行器标注

• 运动方向分类
• 速度大小分类
• 加速度大小分类

夹爪标注

• 开/关状态标注
• 活动状态分类（活动/非活动）

附加特征

• 末端执行器仿真位姿（6D位姿信息）
• 夹爪开合尺度（连续测量值）

数据组织

文件结构

• 数据文件: Parquet格式，按分块组织
• 视频文件: MP4格式，按相机视角组织
• 元数据: JSON格式的元信息文件

数据分割

• 训练集: 情节0-12

作者与链接

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

兼容性

• 基于LeRobot扩展格式
• 完全兼容LeRobot框架

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu et al.}, journal={arXiv preprint arXiv:2511.17441}, url={https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，AIRBOT_MMK2_desktop_storage数据集通过AIRBOT_MMK2双手机器人平台系统构建，采用LeRobot扩展格式确保数据兼容性。数据采集过程涵盖13个完整操作片段，总计3939帧视觉与运动数据，以家庭桌面环境为场景，重点记录抓取、拾取、放置等基础操作动作。数据以分块形式组织，每块包含1000帧序列，通过多视角视频流与状态动作同步记录，形成结构化机器人操作数据集。

特点

该数据集在机器人操作学习领域展现出多模态融合特性，集成四路高清摄像头视角，包括高位全局视角、左右腕部视角及第三方观测视角。数据标注体系涵盖精细化的子任务分割、场景语义分类以及末端执行器运动参数，包含方向、速度、加速度等多维度运动特征。独特之处在于提供双手协同操作的六维位姿信息与抓取器开合状态连续量测，为复杂操作策略研究提供丰富监督信号。

使用方法

研究者可基于LeRobot框架直接加载该数据集，通过标准数据路径模式访问分块存储的序列文件。训练阶段使用0-12号片段作为训练集，每个数据样本包含36维关节状态与动作空间，配合时间戳与帧索引实现时序对齐。多路视频流与丰富标注信息支持端到端模仿学习、行为克隆等算法验证，末端执行器仿真位姿数据更便于进行运动规划与控制策略研究。

背景与挑战

背景概述

机器人操作领域长期致力于解决复杂环境下的双手协调任务，AIRBOT_MMK2_desktop_storage数据集应运而生。该数据集由RoboCOIN团队于2025年构建，依托LeRobot框架扩展格式，专门针对桌面场景中的双手物体操作问题。其核心研究目标在于通过多视角视觉数据与精细动作标注，推动双臂机器人对抓取、放置等基础动作的自主执行能力发展，为家庭服务机器人的技能学习提供关键数据支撑。

当前挑战

该数据集致力于攻克双手协同操作中的动作时序同步与空间精度控制难题。构建过程中面临多模态数据对齐的复杂性，需同步处理四路摄像头视频流与36维关节状态数据；精细标注工作亦构成挑战，包括末端执行器运动轨迹的六维姿态重建、抓握器开合状态的连续性量化，以及七类子任务的动作边界划分，这些都对数据质量与算法泛化能力提出更高要求。

常用场景

经典使用场景

在桌面操作机器人研究领域，该数据集通过双手机械臂协同执行抓取、放置等精细动作，为模仿学习算法提供了丰富的训练样本。其多视角视觉观测与精细的动作标注使研究者能够构建端到端的控制策略，特别适用于双手协调操作任务的策略学习与验证。

实际应用

在家庭服务机器人场景中，该数据集支撑了桌面物品整理系统的开发。通过模拟鼠标盒堆叠、咖啡杯放置等日常任务，为机器人自主执行家居整理提供了可迁移的技能模板，推动服务机器人向更精细化的操作层级演进。

衍生相关工作

基于该数据集衍生的研究主要集中于多智能体协同控制与跨模态表征学习。相关成果拓展了分层强化学习在双手操作任务中的应用边界，并催生了基于视觉语言模型的机器人指令理解系统，持续推动着机器人操作智能的技术演进。