AIRBOT_MMK2_cake_storage

这是一个基于LeRobot扩展格式的机器人数据集，完全兼容LeRobot。该数据集使用AIRBOT_MMK2机器人，代码库版本为v2.1，末端执行器类型为五指手。数据集涵盖了家庭场景，包括抓取、放置和拾取等原子动作。数据集统计信息显示总共有50个场景，4691帧，1个任务，200个视频和1个数据块。数据集包括丰富的注释，支持多种学习方法，如子任务分割、场景描述、末端执行器方向、速度、加速度、抓取器模式和活动状态等。数据集分为训练集和测试集，数据结构遵循LeRobot格式，包括视频、状态数据、动作数据和元数据。数据集以Apache-2.0许可证发布。

原始信息汇总

AIRBOT_MMK2_cake_storage 数据集概述

基本信息

• 数据集名称: AIRBOT_MMK2_cake_storage
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 规模类别: 1K-10K
• 标签: RoboCOIN, LeRobot

机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

场景与动作

• 场景类型: 家庭环境
• 原子动作: 抓取、放置、拾取

数据集统计

指标	数值
总片段数	50
总帧数	4691
总任务数	1
总视频数	200
总分块数	1
分块大小	1000
帧率	30

任务描述

• 主要任务: 用双手从桌上拿起蛋糕并放在白色盘子上
• 子任务: 包含7个不同的子任务

数据特征

视觉观测

• 4个摄像头视角：
  • 高位RGB摄像头
  • 左手腕RGB摄像头
  • 右手腕RGB摄像头
  • 第三视角摄像头
• 视频规格：480×640分辨率，30FPS，AV1编码

状态与动作

• 状态观测: 36维浮点数组（包含左右臂和手部关节角度）
• 动作数据: 36维浮点数组（关节控制命令）

注释信息

• 子任务注释: 精细的子任务分割和标注
• 场景注释: 语义场景分类和描述
• 末端执行器注释: 方向、速度、加速度分类
• 夹爪注释: 开闭状态、活动状态

运动特征

• 末端执行器仿真姿态（状态和动作）
• 末端执行器方向分类
• 末端执行器速度分类
• 末端执行器加速度分类

数据组织

• 训练集: 片段0-49
• 文件格式: Parquet数据文件，MP4视频文件
• 目录结构: 包含数据、视频、注释和元数据目录

作者与链接

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

技术兼容性

• 基于LeRobot格式扩展并完全兼容
• 支持多样化的学习方法

版本信息

• 初始版本: v1.0.0 (2025年11月)

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，AIRBOT_MMK2_cake_storage数据集采用扩展的LeRobot格式构建，确保了与现有框架的完全兼容性。该数据集通过AIRBOT_MMK2双手机器人平台采集，配置五指灵巧手作为末端执行器，在家庭场景中执行蛋糕存储任务。数据组织采用分块存储机制，将50个完整操作序列划分为1个数据块，每块包含1000帧数据，所有视频以30帧率录制并采用AV1编码压缩。数据采集过程涵盖抓取、放置和拾取等基本动作，通过多视角摄像头同步记录机器人状态与动作轨迹。

特点

该数据集在机器人操作数据中展现出多维度的标注特性。视觉观测部分包含四个同步摄像头视角，分别提供全局、左腕、右腕和第三视角的RGB视频流。运动特征方面提供了末端执行器的六维位姿信息，包括位置和方向数据，并附带速度与加速度分类标注。灵巧手状态标注涵盖开合模式与活动状态，结合36维关节状态与动作向量，完整呈现了双手机器人的协同操作过程。数据集还包含精细的子任务分割标注，将蛋糕抓取与放置过程分解为七个具体步骤，为分层强化学习研究提供结构化支持。

使用方法

研究者可通过LeRobot框架直接加载该数据集进行机器人操作策略学习。数据文件采用Parquet格式存储，按照分块索引结构组织，训练集包含0至49号完整操作序列。使用时可分别调用视觉观测、状态数据和动作指令模块，其中视觉数据包含四个摄像头的MP4视频文件，状态与动作数据以浮点数组形式存储。标注信息可通过相应字段访问，包括子任务分段、场景分类和末端执行器运动参数。该数据集适用于模仿学习、行为克隆和分层强化学习等研究方向，能够支持从原始感知到动作生成的端到端训练流程。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同控制一直是研究的前沿课题。AIRBOT_MMK2_cake_storage数据集由RoboCOIN团队于2025年发布，依托LeRobot框架构建，专注于家庭环境下的精细物体操作任务。该数据集采用AIRBOT_MMK2双手机器人平台，配备五指灵巧手，核心研究目标在于解决双手机器人对易变形物体的协同抓取与放置问题。通过包含4691帧多视角视频数据及丰富的运动标注，该数据集为机器人模仿学习与双臂协调控制算法提供了重要基准，显著推动了家庭服务机器人操作能力的发展。

当前挑战

该数据集针对双手机器人操作领域的两大挑战展开：在领域问题层面，需解决双臂协同抓取中力控制平衡与物体形变适应的难题，特别是对蛋糕类软质物体的稳定抓取与精准放置；在构建过程中，面临多传感器数据同步校准的复杂性，包括四路摄像头视角的时空对齐问题，以及36维关节状态与动作空间的高维数据标注一致性维护。此外，五指灵巧手的精细操作轨迹标注需要克服高自由度运动建模与真实世界物理交互的量化表征困难。

常用场景

经典使用场景

在机器人操作学习领域，该数据集聚焦于双手机器人协同抓取任务，通过记录AIRBOT_MMK2机器人使用五指灵巧手执行蛋糕存储操作的完整流程。其多视角视频数据与精细的动作标注为模仿学习算法提供了标准测试平台，特别是针对双手协调抓取、精细物体操控等复杂技能的训练与验证。

实际应用

在家庭服务机器人场景中，该数据集支撑了食品处理类应用的开发，如自动餐点摆放、食品分装等日常任务。通过模拟真实家居环境下的物体操控过程，为服务机器人执行精细操作提供了可靠的行为范本，显著提升了机器人应对非结构化环境的能力。

衍生相关工作

基于该数据集衍生的研究主要围绕RoboCOIN框架展开，包括多模态感知融合、双臂协同控制等方向。相关成果通过LeRobot生态系统持续扩展，推动了开源机器人数据标准的建立，并为后续的跨任务迁移学习、元强化学习等前沿研究提供了重要基准。