AIRBOT_MMK2_place_the_books

这是一个基于LeRobot扩展格式的机器人数据集，完全兼容LeRobot。数据集使用AIRBOT_MMK2机器人，配备五指手末端执行器，在家庭环境中进行书籍操作任务。数据集包括抓取、拾取、放置和推动等基本动作。数据集被标注了子任务分割、场景描述、末端执行器运动和抓取器状态。此外，数据集还提供了模拟姿态和抓取器开启尺度的信息。数据集的结构包括视频、状态数据、动作数据和元数据，组织成块。它支持训练和推理任务，并具有丰富的注释，用于机器学习方法。

This is a robotic dataset based on the LeRobot extended format, which is fully compatible with LeRobot. The dataset uses the AIRBOT_MMK2 robot equipped with a five-fingered hand end-effector, and collects data for book manipulation tasks in home environments. It includes basic actions such as grasping, picking, placing, and pushing. The dataset is annotated with subtask segmentation, scene descriptions, end-effector movements, and gripper states. Additionally, it provides information on simulated poses and gripper opening scales. The dataset is organized into blocks containing video, state data, action data, and metadata. It supports training and inference tasks, and features rich annotations for machine learning methods.

原始信息汇总

AIRBOT_MMK2_place_the_books 数据集概述

📋 数据集基本信息

• 数据集名称: AIRBOT_MMK2_place_the_books
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 规模类别: 10K-100K
• 格式兼容性: 基于LeRobot扩展格式，完全兼容LeRobot

🤖 机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

🏠 场景与环境

• 场景类型: 家庭环境

🎯 任务描述

主要任务

用一只手将书推到桌子一侧，用另一只手拿起书放到书架上

子任务

包含7个不同的子任务：

1. 异常状态
2. 结束状态
3. 用左手抓取器抓取书本
4. 空状态
5. 用左手抓取器将书本放入书架前中层
6. 用右手抓取器从右向左推书本
7. 静态状态

📊 数据集统计

指标	数值
总片段数	49
总帧数	20564
总任务数	1
总视频数	196
总分块数	1
分块大小	1000
帧率	30 FPS

🎥 视觉数据

• 相机视角数量: 4个
• 视频编码: av1
• 分辨率: 480×640
• 包含的相机视角:
  • 高位RGB相机
  • 左手腕RGB相机
  • 右手腕RGB相机
  • 第三人称视角相机

🏷️ 标注信息

子任务标注

• 细粒度子任务分割和标注

场景标注

• 场景级语义分类和描述

末端执行器标注

• 运动方向分类
• 速度大小分类
• 加速度大小分类

抓取器标注

• 抓取器模式（开/关状态）
• 抓取器活动状态（活动/非活动）

附加特征

• 末端执行器仿真姿态（6D姿态信息）
• 抓取器开合尺度（连续测量值）

📂 数据结构

文件组织

• 数据文件路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征架构

视觉观测

• 4个RGB视频流，30FPS，av1编码

状态与动作

• 观测状态: float32[36] - 包含左右手臂和手部关节位置
• 动作: float32[36] - 包含左右手臂和手部关节控制命令

运动特征

• 末端执行器仿真姿态（状态和动作）
• 末端执行器方向、速度、加速度分类

📊 数据划分

• 训练集: 片段0-48

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

👥 贡献者

• RoboCOIN团队

📚 引用信息

如需在研究中使用本数据集，请引用提供的BibTeX条目

📌 版本历史

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，AIRBOT_MMK2_place_the_books数据集通过AIRBOT_MMK2双手机器人系统采集，采用LeRobot扩展格式构建。数据采集过程包含49个完整操作序列，总计20564帧视觉与状态数据，通过四路高清摄像头以30帧率记录家庭环境下的书籍放置任务。数据以分块形式组织，每个数据块包含1000个片段，采用Parquet格式存储机器人关节状态、动作轨迹及多模态注释信息。

特点

该数据集在机器人操作任务中展现出多维度特征优势，涵盖抓取、拾取、放置和推动等原子动作。其核心特点在于提供四视角同步视频流与36维状态动作向量，包含末端执行器六维位姿、速度加速度分类及抓取器开合状态等精细标注。数据集通过7个子任务划分实现操作序列的细粒度解析，支持从低级控制到高级策略的跨层次学习需求。

使用方法

研究者可通过LeRobot框架直接加载该数据集进行机器人操作算法开发。数据按训练集划分包含0-48号操作序列，支持端到端模仿学习与强化学习任务。使用时应结合四路视觉观察与多模态状态特征，利用末端执行器位姿标注进行运动轨迹分析，通过抓取器活动状态实现双手协调操作建模。数据集兼容主流机器人学习库，可直接用于策略网络训练与行为克隆实验。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同任务的研究日益受到重视。AIRBOT_MMK2_place_the_books数据集由RoboCOIN团队于2025年11月发布，作为RoboCOIN项目的重要组成部分，专注于家庭环境中的书籍整理任务。该数据集采用AIRBOT_MMK2双手机器人平台，配备五指灵巧手，通过49个任务片段和20564帧数据，系统记录了抓取、拾取、放置和推动等原子动作的完整执行过程。其基于LeRobot框架的扩展格式设计，为机器人操作策略学习提供了多视角视觉观测与精细动作标注，显著推动了双手机器人协同操作研究的发展。

当前挑战

双手机器人协同操作面临动作协调与场景适应的核心难题。该数据集构建过程中需解决多传感器数据同步问题，包括四路摄像头视角的时序对齐与高维状态动作空间的数据采集。在任务执行层面，双手交替操作书籍的动力学建模要求精确的末端执行器位姿控制，而家庭环境的非结构化特性增加了物体定位与路径规划的复杂度。数据标注方面，七种子任务的精细划分需要人工标注与自动化流程的深度融合，确保动作分割与运动特征标注的一致性。

常用场景

经典使用场景

在机器人操作学习领域，AIRBOT_MMK2_place_the_books数据集为双手机器人协同操作提供了标准化的研究平台。该数据集通过记录书籍整理任务中抓取、推送、放置等基础动作序列，构建了完整的操作行为链条。其多视角视觉数据与精细的动作标注体系，为模仿学习与强化学习算法提供了丰富的训练样本，特别适用于研究复杂操作任务中的动作分解与序列规划问题。

实际应用

在家庭服务机器人领域，该数据集支撑了书籍整理、物品归位等日常操作任务的智能化实现。基于数据集训练的模型可应用于智能家居环境中的物品管理场景，提升机器人对复杂家居环境的适应能力。其双手机器人协同操作范式，为开发具备精细操作能力的服务机器人提供了重要技术参考，推动了家庭服务机器人的实用化进程。

衍生相关工作

围绕该数据集衍生的研究工作主要集中在双手机器人协同控制策略优化领域。基于其丰富的运动参数标注，研究者开发了多种基于深度学习的动作预测模型与任务规划算法。该数据集与LeRobot框架的深度兼容性，促进了机器人学习算法的标准化比较与性能评估，为开源机器人学习社区提供了重要的基准测试平台，推动了相关算法的快速迭代与发展。