AIRBOT_MMK2_organize_books

这是一个基于LeRobot扩展格式的数据集，用于机器人操作任务。它包含了丰富的注释，包括子任务、场景、末端执行器和夹持器的标注。数据集分为训练和测试集，并按照结构化的目录格式组织。数据集支持多种学习方法，并提供了详细的元信息。

原始信息汇总

AIRBOT_MMK2_organize_books 数据集概述

基本信息

• 数据集名称: AIRBOT_MMK2_organize_books
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 规模类别: 1K-10K

机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

场景与动作

场景类型

• 家庭环境

原子动作

• 抓取
• 拾取
• 放置

数据集统计

指标	数值
总情节数	50
总帧数	9576
总任务数	1
总视频数	200
总块数	1
块大小	1000
帧率	30

任务描述

主要任务

拾取桌上的书本并放入书架

子任务

1. 结束
2. 用右夹爪抓取黄色书本
3. 空值
4. 用右夹爪将黄色书本放入书架前夹层
5. 静态

数据特征

视觉观测

• 4个相机视角
• 所有视频帧率：30 FPS
• 视频编码：av1
• 分辨率：480×640×3

状态与动作

• 观测状态：36维浮点数
• 动作：36维浮点数

注释信息

• 子任务注释
• 场景注释
• 末端执行器方向、速度、加速度
• 夹爪模式和活动状态
• 末端执行器仿真姿态

数据组织

文件结构

• 数据文件：Parquet格式
• 视频文件：MP4格式
• 块组织：1个块，每块1000个情节

数据分割

• 训练集：情节0-49

作者与链接

贡献者

• RoboCOIN团队

相关链接

• 主页：https://flagopen.github.io/RoboCOIN/
• 论文：https://arxiv.org/abs/2511.17441
• 代码库：https://github.com/FlagOpen/RoboCOIN
• 问题反馈：https://github.com/FlagOpen/RoboCOIN/issues

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

版本信息

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，AIRBOT_MMK2_organize_books数据集通过AIRBOT_MMK2双臂机器人执行书籍整理任务构建而成。该数据集采用LeRobot扩展格式，包含50个完整操作片段，总计9576帧数据，以30帧每秒的速率采集。数据组织采用分块存储机制，将1000帧数据封装为单个块，通过parquet文件保存机器人状态、动作指令及多视角视觉观测。构建过程聚焦家庭环境中的抓取、拾取与放置原子动作，确保数据结构的标准化与兼容性。

特点

该数据集在机器人操作领域展现出多模态融合的显著特点，集成四路高清摄像头视角，涵盖全局、左右腕部及第三视角的视觉数据。其标注体系极为丰富，包含细粒度子任务分割、场景语义分类及末端执行器运动学参数。末端执行器的六维位姿、速度方向与加速度幅度均以状态与动作双模态呈现，五指灵巧手的抓握模式与活动状态亦被完整记录。36维关节空间数据与连续时间戳信息共同构成高精度时空轨迹，为复杂操作策略研究提供坚实基础。

使用方法

研究者可通过LeRobot框架直接加载该数据集，其标准化的数据路径模式支持分块式访问。训练集涵盖0至49号操作片段，用户可调用observation.images下的四路视频流与observation.state中的关节状态数据。动作指令存储于action字段，配合时间序列索引可实现闭环控制策略验证。末端执行器仿真位姿与运动学标注适用于模仿学习与强化学习算法，而子任务注解则为分层策略研究提供结构化支撑。数据集兼容主流机器人学习库，支持端到端模型训练与行为克隆应用。

背景与挑战

背景概述

在机器人操作研究领域，双手机器人系统的精细化控制一直是学术界与工业界关注的核心议题。AIRBOT_MMK2_organize_books数据集由RoboCOIN团队于2025年构建，依托LeRobot框架实现了家庭环境中书籍整理任务的系统性数据采集。该数据集聚焦于多指灵巧手的抓取与放置动作，通过四视角视觉观测与36维关节状态数据，为双手机器人协同操作提供了高精度标注基准。其涵盖的9576帧动作序列与细粒度子任务分割，显著推进了机器人动作理解与模仿学习的研究进程。

当前挑战

双手机器人操作面临动作协调性与环境适应性的双重挑战。在书籍整理任务中，需解决多指抓握的力度控制、书本姿态的精确感知以及书架空间的动态避障问题。数据构建过程中，五指手的多关节运动轨迹同步、四路高清视频流实时压缩，以及末端执行器六维位姿的毫米级标注，均对数据采集系统的稳定性和计算资源提出了极高要求。此外，家庭场景的照明变化与物体遮挡现象，进一步增加了动作识别模型的泛化难度。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过记录双手机器人整理书籍的完整操作流程，为模仿学习算法提供了丰富的训练样本。其多视角视觉观测与精细的动作标注，使研究者能够构建从视觉感知到运动控制的端到端学习框架，特别适用于研究复杂操作任务中的动作分割与序列规划问题。

解决学术问题

该数据集有效解决了机器人操作中动作语义理解与运动规划的关键挑战。通过提供细粒度的子任务标注和末端执行器运动参数，支持了对复杂操作任务的层次化建模研究。其丰富的状态-动作对数据为强化学习与模仿学习算法提供了基准测试环境，推动了机器人操作技能泛化能力的发展。

衍生相关工作

基于该数据集衍生的研究主要集中于双手机器人协同操作与长时序任务学习。相关工作探索了基于视觉的运动原语组合、操作技能迁移学习等方向。其与LeRobot框架的兼容性促进了机器人学习社区的算法比较与基准测试，为开源机器人学习生态提供了重要数据支撑。