AIRBOT_MMK2_take_the_book

该数据集是基于LeRobot格式的扩展版本，使用AIRBOT_MMK2机器人，代码库版本为v2.1，末端执行器类型为五指手。数据集包含了家庭场景，原子动作为捡起。数据集统计信息显示总共有79个场景，9314帧，2个任务，316个视频和1个数据块。数据集的组织结构遵循LeRobot格式，包括视频、状态数据、动作数据和元数据等。数据集还提供了丰富的注释，包括子任务分割、场景描述、末端执行器方向、速度、加速度、夹持器模式、夹持器活动状态等。数据集被分为训练集和测试集，训练集包含0到78个场景。数据集的目录结构清晰，易于理解和访问。

This dataset is an extended variant of the LeRobot format, utilizing the AIRBOT_MMK2 robot with a codebase version of v2.1, and featuring a five-fingered hand as its end-effector. The dataset encompasses home scenarios, with the atomic action being pick-up. According to dataset statistics, it contains a total of 79 scenarios, 9314 frames, 2 tasks, 316 videos, and 1 data chunk. The organizational structure of the dataset adheres to the LeRobot format, comprising video, state data, action data, metadata, and other associated components. Additionally, the dataset offers comprehensive annotations, including subtask segmentation, scenario descriptions, end-effector orientation, velocity, acceleration, gripper mode, and gripper active status, among others. The dataset is partitioned into training and test subsets, where the training set includes scenarios numbered from 0 to 78. The directory structure of the dataset is well-organized, straightforward to comprehend and access.

原始信息汇总

AIRBOT_MMK2_take_the_book 数据集概述

基本信息

• 数据集名称: AIRBOT_MMK2_take_the_book
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN、LeRobot
• 规模: 1K-10K

机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

场景与动作

• 场景类型: 家庭环境
• 原子动作: 拾取

数据集统计

指标	数值
总情节数	79
总帧数	9314
总任务数	2
总视频数	316
总分块数	1
分块大小	1000
帧率	30

任务描述

主要任务

• 用食指从书架上钩下"century"书籍
• 用食指从书架上钩下"letitbe"书籍

子任务

1. 异常
2. 结束
3. 用右手夹爪持书
4. 用右手夹爪放书
5. 空

数据特征

视觉观测

• 4个摄像头视角：高角度RGB、左手腕RGB、右手腕RGB、第三视角
• 分辨率：480×640×3
• 帧率：30 FPS
• 编码：av1

状态与动作

• 状态观测: 36维浮点数（包含左右臂和手部关节角度）
• 动作数据: 36维浮点数（包含左右臂和手部关节角度）

时间信息

• 时间戳、帧索引、情节索引、任务索引

标注信息

子任务标注

• 细粒度子任务分割和标注

场景标注

• 语义场景分类和描述

末端执行器标注

• 方向：运动方向分类
• 速度：速度大小分类
• 加速度：加速度大小分类

夹爪标注

• 夹爪模式：开/关状态标注
• 夹爪活动：活动状态分类

附加特征

• 末端执行器仿真位姿：6D位姿信息
• 夹爪开合尺度：连续夹爪开合测量

数据组织

文件结构

• 数据文件: Parquet格式，按分块组织
• 视频文件: MP4格式，按摄像头视角组织
• 元数据: JSON格式，包含数据集信息

数据划分

• 训练集: 情节0-78

作者与链接

贡献者

• RoboCOIN团队

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 项目页: https://flagopen.github.io/RoboCOIN/
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

引用信息

如需使用本数据集，请引用： bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

版本历史

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，AIRBOT_MMK2_take_the_book数据集通过AIRBOT_MMK2双手机器人平台系统采集构建。该数据集采用LeRobot扩展格式，包含79个完整操作序列，涵盖家庭场景下的书籍抓取任务。数据采集过程通过四路高清摄像头同步记录视觉信息，并以30帧率保存机器人关节状态与末端执行器运动轨迹。所有数据按1000个片段规模分块存储为Parquet格式，确保高效访问与处理。

特点

该数据集的核心特征体现在多模态数据融合与精细动作标注体系。视觉观测包含高位、左右腕部及第三方视角的四路RGB视频流，分辨率统一为480×640。机器人状态数据涵盖36维关节角度信息，末端执行器则提供六自由度位姿、运动方向、速度及加速度等多层次运动特征。特别值得关注的是其细粒度任务标注系统，将书籍抓取过程分解为五个子任务阶段，并配备抓取器开合状态与活动状态分类标签。

使用方法

研究人员可借助LeRobot框架直接加载该数据集进行机器人操作算法开发。数据文件按标准路径组织，通过指定片段编号与序列索引即可访问对应Parquet文件。训练集包含0至78号完整操作序列，支持从原始视频流到关节控制命令的端到端学习。该数据集特别适用于模仿学习、强化学习及动作分割等研究方向，其丰富的运动学标注为机器人精细操作策略的建模提供坚实基础。

背景与挑战

背景概述

在机器人操作领域，精细化的双手协调控制一直是实现复杂任务的核心难题。AIRBOT_MMK2_take_the_book数据集由RoboCOIN团队于2025年发布，聚焦于家庭环境中书籍抓取这一具体场景。该数据集依托LeRobot框架构建，采用AIRBOT_MMK2双手机器人平台与五指灵巧手末端执行器，通过79个任务片段、9314帧多视角视频数据，系统记录了书籍抓取过程中的机械臂运动轨迹与手部关节状态。其创新性在于融合了六维末端位姿、速度加速度分类、抓取器状态等多模态标注，为模仿学习与强化学习算法提供了高精度训练基准。

当前挑战

构建过程中面临多源传感器数据同步的技术挑战，需协调四路高清摄像头与36维关节状态数据的时序对齐。在任务层面，双手机器人的动态抓取策略需解决书籍形态差异带来的抓取点选择难题，以及五指灵巧手在接触力学下的精细控制问题。数据集标注体系需克服高维连续动作空间与离散语义标签的映射复杂性，特别是末端执行器运动方向与抓取器开合状态的联合标注。此外，模拟环境到真实世界的动力学差异使得末端位姿数据的泛化能力面临严峻考验。

常用场景

经典使用场景

在机器人操作学习领域，该数据集聚焦于家居环境下的精细抓取任务，通过五指机械手实现书籍抓取动作的完整记录。其经典应用体现在为模仿学习算法提供多视角视觉数据与关节运动轨迹的同步标注，涵盖从接近目标到稳定抓取的全流程动作序列。数据集通过四路摄像头捕捉手腕视角与全局视角的协同观测，为动态环境下的抓取策略优化提供标准化评估基准。

解决学术问题

该数据集有效解决了机器人操作中精细抓取动作的建模难题，通过标注末端执行器的位姿、速度、加速度等多维度运动特征，为动力学建模提供实证基础。其丰富的子任务标注体系支持分层强化学习研究，而家居场景的设定则推动了领域自适应方法在真实环境中的验证。数据集通过标准化动作序列与状态转换记录，为机器人操作中的动作分割、时序预测等核心问题提供结构化解决方案。

衍生相关工作

基于该数据集衍生的研究主要集中于双手机器人协同操作领域，其中RoboCOIN项目构建了完整的双臂操作基准测试体系。相关研究进一步拓展了基于LeRobot框架的模仿学习算法，特别是在多模态感知与动作生成的融合方面取得显著进展。该数据集还催生了针对精细操作任务的元学习方法探索，以及基于物理仿真的抓取策略迁移研究，为机器人操作社区提供了可复现的算法比较平台。