AIRBOT_MMK2_organize_and_place_books

AIRBOT_MMK2_organize_and_place_books数据集是一个基于LeRobot的扩展格式的数据集，用于机器人抓取和放置书籍。数据集包括抓取、放置、拾取等原子动作，并包含丰富的注释信息，如子任务分割、场景描述、末端执行器方向、速度、加速度、抓取器模式、抓取器活动等。数据集包含4个相机视图，并按照LeRobot格式组织数据。

The AIRBOT_MMK2_organize_and_place_books dataset is an extended-format dataset based on LeRobot, designed for robotic book grasping and placement tasks. It includes atomic actions such as grasping, placing, and picking, as well as rich annotation information covering subtask segmentation, scene descriptions, end-effector orientation, velocity, acceleration, gripper mode, and gripper activity. The dataset contains 4 camera views and organizes data in the LeRobot format.

原始信息汇总

AIRBOT_MMK2_organize_and_place_books 数据集概述

📋 基本信息

• 数据集名称: AIRBOT_MMK2_organize_and_place_books
• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: five_finger_hand
• 许可证: apache-2.0
• 支持语言: 英语、中文

🎯 任务描述

主要任务

用一只手从桌子上拿起书，转移到另一只手，然后放在另一本书上

子任务

1. 用左手抓具传递黄色书本到右手抓具
2. 结束
3. 用左手抓具抓取黄色书本
4. null
5. 用右手抓具将黄色书本放在白色书本上
6. 静态

📊 数据集统计

指标	数值
总情节数	48
总帧数	9838
总任务数	1
总视频数	192
总分块数	1
分块大小	1000
帧率	30

🏠 场景类型

• home

🤖 原子动作

• grasp
• place
• pick

🎥 相机视图

包含4个相机视图

🏷️ 可用标注

子任务标注

• 子任务分割: 细粒度的子任务分割和标注

场景标注

• 场景级描述: 语义场景分类和描述

末端执行器标注

• 方向: 机器人末端执行器的运动方向分类
• 速度: 操作过程中的速度大小分类
• 加速度: 运动分析的加速度大小分类

抓具标注

• 抓具模式: 抓具开/关状态标注
• 抓具活动: 活动状态分类（活动/非活动）

附加特征

• 末端执行器仿真位姿: 仿真空间中末端执行器的6D位姿信息（状态和动作均可用）
• 抓具开度尺度: 连续抓具开度测量（状态和动作均可用）

📂 数据划分

• 训练: 情节0:47

📁 数据集结构

文件组织

• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 分块: 数据组织为1个分块，大小为1000

特征架构

视觉观测

• observation.images.cam_high_rgb: 视频 (FPS: 30, 编码: av1)
• observation.images.cam_left_wrist_rgb: 视频 (FPS: 30, 编码: av1)
• observation.images.cam_right_wrist_rgb: 视频 (FPS: 30, 编码: av1)
• observation.images.cam_third_view: 视频 (FPS: 30, 编码: av1)

状态和动作

• observation.state: float32
• action: float32

时间信息

• timestamp: float32
• frame_index: int64
• episode_index: int64
• index: int64
• task_index: int64

标注

• subtask_annotation: int32
• scene_annotation: int32

运动特征

• eef_sim_pose_state: float32 (12维)
• eef_sim_pose_action: float32 (12维)
• eef_direction_state: int32 (2维)
• eef_direction_action: int32 (2维)
• eef_velocity_state: int32 (2维)
• eef_velocity_action: int32 (2维)
• eef_acc_mag_state: int32 (2维)
• eef_acc_mag_action: int32 (2维)

👥 作者

• 贡献者: RoboCOIN - RoboCOIN团队

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 项目页面: https://flagopen.github.io/RoboCOIN/
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

🏷️ 数据集标签

• RoboCOIN
• LeRobot

📚 引用

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，该数据集采用AIRBOT_MMK2双手机器人平台进行构建，通过五指灵巧手执行书籍整理任务。数据采集过程涵盖48个完整操作片段，以30帧率记录9838帧多视角视频数据，并采用LeRobot兼容的扩展格式进行结构化存储。数据组织采用分块存储机制，将操作序列划分为单一数据块，每个数据文件通过标准化parquet格式集成机器人状态、动作指令与多模态观测数据。

特点

该数据集显著特点在于其丰富的多模态标注体系，不仅包含四路高清摄像头的视觉观测流，还提供末端执行器的六维位姿、运动方向、速度等级及加速度幅度等多维度运动特征。数据集特别设计了精细化的子任务标注体系，将书籍传递任务分解为抓取、转移、放置等原子动作，并配备抓握器开合状态与活动状态的双重标注机制。36维关节空间的状态动作数据与12维末端位姿信息的同步记录，为双臂协调操作研究提供了完整的数据支撑。

使用方法

研究者可通过LeRobot标准接口直接加载该数据集，利用其预定义的数据分割方案进行模型训练与验证。数据集支持端到端模仿学习与强化学习算法的开发，用户可基于多视角视觉输入与关节状态信息构建感知-控制闭环系统。针对特定研究需求，可单独调用运动学特征数据用于轨迹规划分析，或利用细粒度子任务标注开展分层强化学习研究。数据集的模块化结构允许灵活提取视觉流、状态序列或动作轨迹等独立模态，满足不同机器人学习范式的实验要求。

背景与挑战

背景概述

随着机器人技术在家庭环境中的广泛应用，双手机器人操作成为实现复杂任务的关键技术。AIRBOT_MMK2_organize_and_place_books数据集由RoboCOIN团队于2025年发布，聚焦于书籍整理与放置这一典型家庭场景任务。该数据集采用AIRBOT_MMK2双手机器人平台，配备五指灵巧手末端执行器，通过48个任务片段和9838帧数据，系统记录了抓取、转移、放置等原子动作的完整流程。其创新性在于融合多视角视觉观测与精细的末端执行器运动标注，为双手机器人协调控制研究提供了标准化基准，显著推动了家庭服务机器人操作技能的学习与泛化能力发展。

当前挑战

在双手机器人操作领域，书籍整理任务面临动作协调性与环境适应性的双重挑战。具体而言，双手交替传递物体需要解决动态负载转移时的稳定性控制问题，而不同书籍的尺寸差异则对抓取策略的泛化能力提出更高要求。数据集构建过程中，多视角视频数据的时空同步与标注一致性成为技术难点，特别是末端执行器的六维位姿标注需要毫米级精度。此外，五指灵巧手的多关节控制数据采集面临传感器噪声干扰，如何保持36维状态动作数据的物理真实性亦是核心挑战。这些因素共同构成了该数据集在算法验证与系统部署层面的关键瓶颈。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过双手机械臂的书籍整理任务，为模仿学习与强化学习算法提供了标准化的测试平台。其多视角视觉观测与精细的动作标注，能够有效支撑端到端策略网络的训练过程，特别是在复杂抓取放置序列的时序建模方面展现出独特价值。

实际应用

在家庭服务机器人领域，该数据集支撑的算法可直接应用于日常物品整理场景。通过模拟真实家居环境中的书籍转移任务，为开发具备精细操作能力的辅助机器人提供了技术基础，特别是在老年照护与智能家居系统中，这种双手协调操作能力具有重要的实用价值。

衍生相关工作

基于该数据集衍生的研究主要集中于多智能体协同控制与跨模态表示学习方向。在RoboCOIN项目框架内，已有工作探索了视觉-动作对应关系的建模方法，同时LeRobot生态中的研究者利用其标准化格式，开发了多种分层强化学习架构，推动了机器人操作知识的迁移与泛化。