AIRBOT_MMK2_square_arrangement

AIRBOT_MMK2_square_arrangement数据集是基于LeRobot格式的机器人数据集，用于机器人研究。该数据集与LeRobot兼容，包含各种注释以支持多样化的学习方法。数据集包括视频、状态数据、动作数据和元数据，组织成块。它还包括相机视图和功能，如视觉观察、状态和动作数据、时间信息、注释等。该数据集是在Apache-2.0许可下发布的，由RoboCOIN团队贡献。

原始信息汇总

AIRBOT_MMK2_square_arrangement 数据集概述

数据集基本信息

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: five_finger_hand
• 数据格式: 基于LeRobot的扩展格式，完全兼容LeRobot
• 许可证: apache-2.0
• 语言: 英语、中文

场景与任务

场景类型

• home

主要任务

将小立方体同时放置在相应侧的大立方体上

子任务

1. End
2. 用左手抓取蓝色立方体块
3. 用右手抓取绿色立方体块
4. null
5. 用左手将蓝色立方体块放置在红色立方体块上
6. 用右手将绿色立方体块放置在黄色立方体块上

数据集统计

指标	数值
总情节数	49
总帧数	6572
总任务数	1
总视频数	196
总分块数	1
分块大小	1000
帧率	30

动作类型

• grasp
• pick
• lower

数据分割

• 训练集: 情节0:48

视觉观察

包含4个相机视角：

• observation.images.cam_high_rgb
• observation.images.cam_left_wrist_rgb
• observation.images.cam_right_wrist_rgb
• observation.images.cam_third_view

视频规格:

• 分辨率: 480×640
• 帧率: 30 FPS
• 编码: av1
• 通道: 3 (RGB)

数据特征

状态与动作

• observation.state: float32[36] - 机器人关节状态
• action: float32[36] - 机器人动作命令

时间信息

• timestamp, frame_index, episode_index, index, task_index

注释信息

• subtask_annotation, scene_annotation

运动特征

• 末端执行器仿真位姿: eef_sim_pose_state, eef_sim_pose_action
• 末端执行器方向: eef_direction_state, eef_direction_action
• 末端执行器速度: eef_velocity_state, eef_velocity_action
• 末端执行器加速度: eef_acc_mag_state, eef_acc_mag_action

可用注释

子任务注释

• 细粒度子任务分割和标注

场景注释

• 场景级描述和语义分类

末端执行器注释

• 方向、速度、加速度分类

夹爪注释

• 夹爪模式（开/关状态）
• 夹爪活动状态（活动/非活动）

附加特征

• 末端执行器仿真位姿（6D位姿信息）
• 夹爪开度尺度（连续测量值）

文件结构

AIRBOT_MMK2_square_arrangement_qced_hardlink/ ├── annotations/ # 注释文件 ├── data/ # 数据文件（parquet格式） ├── meta/ # 元数据 └── videos/ # 视频文件

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

贡献者

• RoboCOIN团队

数据集标签

• RoboCOIN
• LeRobot

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，AIRBOT_MMK2_square_arrangement数据集通过AIRBOT_MMK2双手机器人结合五指灵巧手执行方块排列任务构建而成。数据采集过程采用四路视角同步记录，包含全局视角、左右腕部视角及第三方视角，以30帧率的高清视频捕捉操作细节。数据集遵循LeRobot扩展格式，将6572帧操作序列划分为49个完整回合，通过分块存储机制组织为1000帧容量的数据块，确保数据的高效访问与处理。

特点

该数据集在机器人操作研究领域展现出多模态融合的显著特征，集成视觉观测、关节状态与动作指令的同步数据流。其标注体系涵盖子任务分割、场景语义分类及末端执行器运动学参数，包括六维位姿、速度加速度量级与抓取器开合状态。四路视角的视频流提供480x640分辨率的操作场景重建能力，36维关节空间数据完整呈现双手机器人的协同操作轨迹，为模仿学习与策略优化提供丰富监督信号。

使用方法

研究者可通过LeRobot兼容接口直接加载该数据集，利用标准化的数据路径模式访问分块存储的序列文件。训练阶段可调用视觉观测与状态动作联合特征，通过子任务标注实现分层策略学习。四路视频流支持多视角融合模型构建，末端执行器运动学参数可用于动力学建模与轨迹优化。数据集提供完整的元数据描述与特征架构说明，支持从行为克隆到强化学习等多种机器人学习范式的快速实验部署。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同控制一直是研究热点。AIRBOT_MMK2_square_arrangement数据集由RoboCOIN团队于2025年发布，聚焦于双手机器人完成方块排列任务。该数据集采用AIRBOT_MMK2机器人平台与五指灵巧手末端执行器，记录了包含抓取、拾取、放置等原子动作的49个完整操作序列。通过兼容LeRobot框架的标准化数据格式，该数据集为双手机器人操作策略学习提供了包含多视角视觉观测、关节状态与丰富运动标注的基准数据，显著推动了机器人双手协调操作研究的发展。

当前挑战

双手机器人操作面临动作时序协调与空间避障的双重挑战。该数据集针对的方块排列任务需解决双手同步抓取放置时的动态平衡问题，以及末端执行器在受限空间内的轨迹规划难题。在构建过程中，数据采集面临多传感器时序对齐的复杂性，四路高清视频流与36维关节状态数据的同步记录对硬件系统提出严苛要求。同时，双手协同动作的细粒度标注需要开发专门的运动特征提取流程，确保末端位姿、速度、加速度等多维运动参数的精确标注一致性。

常用场景

经典使用场景

在机器人操作学习领域，AIRBOT_MMK2_square_arrangement数据集为双手机器人协同操作研究提供了标准化实验平台。该数据集通过记录五指灵巧手执行方块排列任务的完整流程，包括抓取、拾取、放置等原子动作序列，为模仿学习与强化学习算法提供了多模态训练数据。四路视角的视觉观测与精细的末端执行器运动轨迹共同构建了家居场景下双手协调操作的典型研究范例。

实际应用

在家居服务机器人领域，该数据集支撑的方块排列任务可直接迁移至日常物品整理场景。通过模拟双手协同放置物体的操作流程，为开发具备精细操作能力的家庭助理机器人提供了关键技术验证。基于多视角视觉与运动数据的联合学习框架，能够显著提升机器人在非结构化环境中的物体操控精度与任务完成效率。

衍生相关工作

基于该数据集衍生的研究工作主要集中在多智能体协同操作算法开发领域。RoboCOIN项目团队通过整合LeRobot框架，构建了端到端的双手操作学习系统。后续研究者在动作序列预测、跨模态表征学习等方向取得突破，特别是利用子任务标注数据开发的层次化强化学习模型，显著提升了长时序操作任务的规划性能。