AIRBOT_MMK2_boxs_storage

这是一个基于LeRobot扩展格式的机器人数据集，完全兼容LeRobot。该数据集专注于家用场景中的机器人操作任务，具体涉及机器人类型AIRBOT_MMK2和五指手末端执行器。它包括抓取、拾取和放置等原子操作。数据集提供了丰富的子任务、场景、末端执行器和夹爪的注释，以及运动特征和其他特征，如末端执行器模拟姿态和夹爪开启刻度。数据集以视频、状态和动作数据以及元数据的形式组织，分为块。数据集在Apache-2.0许可证下发布。

原始信息汇总

AIRBOT_MMK2_boxs_storage 数据集概述

基本信息

• 数据集名称: AIRBOT_MMK2_boxs_storage
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 规模类别: 10K-100K

技术规格

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手
• 场景类型: 家庭环境
• 原子动作: 抓取、拾取、放置

数据集统计

指标	数值
总情节数	138
总帧数	40906
总任务数	3
总视频数	552
总分块数	1
分块大小	1000
帧率	30

任务描述

主要任务

• 将石榴扔进一个方格，芒果扔进另一个方格
• 将土豆扔进一个方格，南瓜扔进另一个方格
• 将计算器盒和充电宝盒放入黄色桶中

子任务

包含15个不同的子任务，涵盖抓取和放置操作

数据特征

视觉观测

• 4个摄像头视角：高角度RGB、左手腕RGB、右手腕RGB、第三视角
• 分辨率：480×640×3
• 帧率：30 FPS
• 编码格式：av1

状态与动作

• 观测状态: 36维浮点数（包含左右臂和手部关节角度）
• 动作数据: 36维浮点数（关节控制命令）

运动特征

• 末端执行器仿真姿态（状态和动作）
• 末端执行器方向分类
• 末端执行器速度分类
• 末端执行器加速度分类

夹爪特征

• 夹爪模式（开/关状态）
• 夹爪活动状态（活动/非活动）
• 夹爪开合尺度

数据组织

文件结构

• 数据文件: Parquet格式，按分块组织
• 视频文件: MP4格式，按摄像头视角组织
• 元数据: JSON格式，包含数据集信息

数据分割

• 训练集: 情节0-137

作者信息

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN

引用信息

如需在研究中引用此数据集，请使用提供的BibTeX条目。

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，AIRBOT_MMK2_boxs_storage数据集基于LeRobot框架扩展构建，采用双手机器人系统在家庭环境中执行物体分拣任务。数据采集通过AIRBOT_MMK2机器人搭载五指灵巧手完成，包含138个任务片段和40906帧数据，以30帧率记录四路视角的视觉信息。数据以分块方式组织存储，每个数据块包含1000个片段，采用Parquet格式高效存储多模态观测数据与动作轨迹。

特点

该数据集的核心价值在于其丰富的多模态标注体系，涵盖15种精细划分的子任务标注和场景语义分类。特别值得关注的是其完备的末端执行器运动特征，包含六维位姿、速度方向及加速度等级的时空标注。四路同步视频流分别提供全局视角、双腕部视角及第三方视角的视觉观测，配合36维关节状态与动作空间，为双臂协同操作研究提供立体化数据支撑。

使用方法

研究者可通过LeRobot标准接口加载数据集，利用预定义的数据路径模式访问分块存储的片段数据。训练集涵盖0-137号完整任务片段，每个片段包含视觉观测、状态动作对及多层次标注信息。典型使用流程包括加载Parquet格式的状态动作序列，配合MP4格式的多视角视频数据，实现从感知到控制的端到端算法验证。数据集兼容现代机器人学习框架，支持模仿学习、强化学习等多种范式。

背景与挑战

背景概述

在机器人操作领域，双手机器人系统的复杂任务执行一直是研究重点。AIRBOT_MMK2_boxs_storage数据集由RoboCOIN团队于2025年构建，基于LeRobot框架扩展而成，专门针对家庭环境中的物体抓取与放置任务。该数据集采用AIRBOT_MMK2双手机器人平台，配备五指灵巧手末端执行器，通过40906帧视频数据记录138个操作片段，涵盖抓取、拾取、放置等基础动作。其核心研究目标在于解决双手机器人协同操作中的动作规划与任务分解问题，为机器人学习算法提供多模态、细粒度标注的真实世界数据支撑。

当前挑战

该数据集致力于应对双手机器人操作中的多对象协同控制挑战，包括动态环境下的抓取稳定性、双手动作时序协调等复杂问题。在构建过程中，研究人员面临多视角视频数据同步的技术难题，需确保四个摄像头视角的时空一致性。同时，精细的末端执行器运动标注需要处理高维度的位姿、速度、加速度数据，对数据采集系统的精度与计算资源提出较高要求。此外，家庭场景的多样性使得任务泛化成为持续挑战，需要平衡数据规模与标注质量的关系。

常用场景

经典使用场景

在家庭环境机器人操作研究中，该数据集作为双手机器人抓取与放置任务的基准测试平台，通过138个完整操作片段和40906帧多视角视频数据，系统记录了AIRBOT_MMK2机器人执行水果分拣与物品收纳的精细化操作流程。其经典应用体现在对抓取、拾取、放置等原子动作的时序分解，为机器人动作规划算法提供了从视觉感知到关节控制的端到端验证环境。

实际应用

在智能仓储与家庭服务机器人领域，该数据集支撑了物品自动分拣系统的开发，通过真实的家居场景数据训练，使机器人能准确识别石榴、芒果等异形物体的抓取点。其包含的计算器盒与充电宝收纳任务，直接服务于物流分拣与智能家居系统的原型验证，大幅降低了实体机器人调试的时间与经济成本。

衍生相关工作

基于该数据集衍生的经典研究包括RoboCOIN项目提出的分层强化学习框架，以及融合LeRobot生态的双臂协同控制算法。这些工作通过数据集提供的精细动作标注，发展了基于视觉语言模型的指令理解系统，并在机器人操作链式任务分解、多模态策略学习等方向取得了突破性进展，持续推动着开源机器人社区的技术演进。