AIRBOT_MMK2_medicine_bottle_storage

AIRBOT_MMK2_medicine_bottle_storage数据集是基于LeRobot的扩展格式构建的，并与LeRobot完全兼容。该数据集包括多种场景类型、原子动作以及丰富的注释，以支持不同的学习方法。数据集分为训练集和测试集，其结构遵循LeRobot格式。数据集遵循Apache-2.0许可协议发布。

The AIRBOT_MMK2_medicine_bottle_storage dataset is built on the extended format of LeRobot and is fully compatible with LeRobot. This dataset covers multiple scene types, atomic actions, and rich annotations to support diverse learning methods. The dataset is split into training and test sets, and its structure follows the LeRobot format. This dataset is released under the Apache-2.0 license.

原始信息汇总

AIRBOT_MMK2_medicine_bottle_storage 数据集概述

基本信息

• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 数据集标签: RoboCOIN、LeRobot
• 规模分类: 10K-100K

机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

场景与动作

• 场景类型: 家庭环境
• 原子动作: 抓取、拾取、放置

数据集统计

指标	数值
总情节数	49
总帧数	16023
总任务数	1
总视频数	196
总分块数	1
分块大小	1000
帧率	30

任务描述

主要任务

将一只手握着的药瓶放在白色平台上，然后将另一只手握着的药瓶放在同一平台上。

子任务

1. 异常状态
2. 结束状态
3. 右夹爪抓取白色药瓶
4. 左夹爪抓取白色药瓶
5. 空状态
6. 左夹爪将白色药瓶放在白色板上
7. 右夹爪将白色药瓶放在白色板上
8. 静态状态

数据特征

视觉观测

• 4个相机视角:
  • cam_high_rgb (480×640×3)
  • cam_left_wrist_rgb (480×640×3)
  • cam_right_wrist_rgb (480×640×3)
  • cam_third_view (480×640×3)
• 视频编码: AV1
• 帧率: 30 FPS

状态与动作

• 观测状态: float32[36] (包含左右臂和手部关节角度)
• 动作数据: float32[36] (包含左右臂和手部关节控制)

注释信息

• 子任务注释: 细粒度子任务分割和标注
• 场景注释: 语义场景分类和描述
• 末端执行器注释: 方向、速度、加速度分类
• 夹爪注释: 开闭状态、活动状态

运动特征

• 末端执行器仿真位姿: 6D位姿信息(位置和方向)
• 末端执行器方向: 运动方向分类
• 末端执行器速度: 速度大小分类
• 末端执行器加速度: 加速度大小分类

数据组织

文件结构

• 数据文件: Parquet格式，按分块组织
• 视频文件: MP4格式，按相机视角组织
• 元数据: JSON格式的配置和统计信息

数据分割

• 训练集: 情节0-48

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

贡献者

• RoboCOIN团队

引用信息

如需在研究中使用此数据集，请引用相关论文。

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，AIRBOT_MMK2_medicine_bottle_storage数据集采用基于LeRobot扩展格式的系统化构建方法。该数据集通过AIRBOT_MMK2双手机器人平台，在家庭场景下执行药品瓶放置任务，完整记录了49个操作片段共16023帧数据。数据采集过程整合了四路视角的视觉观测系统，以30帧率同步记录高分辨率RGB视频，同时通过36维状态向量与动作向量精确捕捉双臂十二关节的运动轨迹，并采用分块存储机制确保数据访问效率。

特点

该数据集在机器人操作学习领域展现出多模态融合的显著特征。其核心价值在于提供了完整的双手机器人操作序列，包含抓取、拾取、放置等基础动作的细粒度标注。数据集通过四路相机视角（高位视角、左右腕部视角及第三方视角）构建了立体视觉观测体系，配合末端执行器的六维位姿、运动方向、速度加速度等多维度运动特征，形成了丰富的状态-动作对应关系。特别值得关注的是其精细的抓取器状态标注与十二维手部关节控制信息，为复杂操作策略研究提供了坚实基础。

使用方法

针对机器人模仿学习与策略研究需求，该数据集支持端到端的训练流程。研究者可通过加载标准Parquet格式的状态-动作序列，直接获取时空对齐的多模态观测数据。训练阶段可利用分块存储结构高效读取 episodes 0-48 的完整数据，其中包含的视觉观测、关节状态、末端位姿等特征可直接用于行为克隆、逆动力学学习等任务。数据集的层次化标注体系支持从原子动作到复杂任务的跨粒度分析，其兼容LeRobot生态的特性更便于快速集成到现有机器人学习框架中。

背景与挑战

背景概述

在机器人操作领域，双手机器人系统的精细控制一直是研究重点。AIRBOT_MMK2_medicine_bottle_storage数据集由RoboCOIN团队于2025年11月发布，基于LeRobot框架构建，专门针对家庭环境中的药品瓶存储任务。该数据集通过AIRBOT_MMK2双手机器人平台，记录了包含抓取、拾取、放置等原子动作的完整操作序列，其核心研究目标在于解决双手机器人协同操作中的动作规划与执行问题。通过提供多视角视频流、末端执行器运动参数及细粒度任务标注，该数据集为机器人模仿学习与行为克隆算法的发展提供了重要支撑。

当前挑战

在机器人操作领域，双手机器人协同执行精细物体操作面临多重挑战。该数据集针对药品瓶存储任务，需解决双手动作时序协调、物体姿态精确控制以及操作过程中的动态稳定性维持等核心问题。数据构建过程中，团队需克服多传感器数据同步、高维度状态动作空间标注以及真实环境干扰因素还原等技术难点，同时确保49个任务片段中16023帧数据的时空一致性，这对数据采集系统的精度与鲁棒性提出了极高要求。

常用场景

经典使用场景

在机器人操作学习领域，该数据集聚焦于家庭环境中的药品收纳任务，通过双手机械臂协同完成药瓶抓取与放置的精细操作。其经典应用体现在为模仿学习算法提供真实的多视角视觉数据与关节运动轨迹，特别是五指灵巧手的抓取策略与末端执行器的六维位姿信息，为复杂操作任务的序列决策建模奠定基础。

解决学术问题

该数据集有效解决了机器人操作中多模态感知与运动控制的耦合难题，通过提供包含四路摄像头视角、36维关节状态与动作空间的全套数据，填补了双手机械臂精细操作任务标准化数据的空白。其丰富的末端执行器运动学标注（速度、加速度、方向）为研究动态抓取策略与双臂协调控制提供了量化依据，显著推进了具身智能在真实场景中的泛化能力研究。

衍生相关工作

基于该数据集衍生的研究多集中于分层强化学习与多任务泛化方向。例如结合LeRobot框架开发的跨场景操作策略迁移方法，利用其细粒度子任务标注实现动作序列的模块化分解。部分工作进一步探索了基于末端执行器运动特征的模仿学习加速技术，通过仿真姿态数据与真实视频的跨模态对齐，显著提升了双臂协调操作的训练效率。