AIRBOT_MMK2_take_down_umbrella_and_mineral_water

这是一个基于LeRobot格式的数据集，用于机器人操作任务。数据集包括不同场景类型、原子动作、丰富的注释以及机器人状态和动作数据。数据集支持多种学习方法和应用场景，例如抓取、放置、机器人操作等。数据集结构清晰，易于使用，并提供了详细的文档和注释信息。

原始信息汇总

AIRBOT_MMK2_take_down_umbrella_and_mineral_water 数据集概述

📋 基本信息

• 数据集名称: AIRBOT_MMK2_take_down_umbrella_and_mineral_water
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 规模分类: 10K-100K
• 格式兼容性: 基于LeRobot扩展格式，完全兼容LeRobot

🤖 机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

🏠 场景类型

• 家庭环境

🔧 原子动作

• 抓取
• 放置
• 拾取

📊 数据集统计

指标	数值
总片段数	212
总帧数	31517
总任务数	5
总视频数	848
总分块数	1
分块大小	1000
帧率	30

🎯 任务描述

主要任务

• 用双手同时从纸盒盖上拿起蓝色和绿色立方体，放在桌子上
• 用一只手从白色盖子上取下白色雨伞，然后用另一只手从白色盖子上取下矿泉水
• 用一只手从白色盖子上取下维生素B水，然后用另一只手从白色盖子上取下另一瓶维生素B水
• 用一只手取出黄色鸡蛋
• 用双手同时从白色盒子中取出两个黑色蛋糕，放在桌子上

子任务

包含22个不同的子任务，涵盖抓取和放置操作

🎥 视觉数据

• 摄像头视角: 4个
• 视频编码: AV1
• 分辨率: 480×640
• 帧率: 30 FPS

摄像头类型

• 高位RGB摄像头
• 左手腕RGB摄像头
• 右手腕RGB摄像头
• 第三视角摄像头

🏷️ 标注信息

子任务标注

• 细粒度子任务分割和标注

场景标注

• 场景级语义分类和描述

末端执行器标注

• 运动方向分类
• 速度大小分类
• 加速度大小分类

夹爪标注

• 夹爪模式（开/关状态）
• 夹爪活动状态（活动/非活动）

📁 数据结构

文件组织

• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征架构

视觉观测

• 4个RGB视频流

状态和动作

• 观测状态: 36维浮点数（关节位置）
• 动作: 36维浮点数（关节控制）

运动特征

• 末端执行器仿真位姿（状态和动作）
• 末端执行器方向、速度、加速度

时间信息

• 时间戳、帧索引、片段索引、任务索引

📂 数据划分

• 训练集: 片段0-211

👥 贡献者

• RoboCOIN团队

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📚 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据集构建领域，AIRBOT_MMK2数据集采用基于LeRobot框架的扩展格式进行系统化构建。该数据集通过AIRBOT_MMK2双手机器人平台采集了212个完整操作片段，涵盖家庭环境下的五指灵巧手操作任务。数据采集过程包含31517帧多视角视频数据，以30帧/秒的采样率记录四路摄像头观测信息，并通过分块存储机制将数据组织为单个千帧级数据块，确保数据结构的完整性与访问效率。

特点

该数据集在机器人操作学习领域展现出多维度的技术特征。其核心优势在于提供了四路同步视觉观测流，包含高位视角、左右腕部视角及第三方视角的RGB视频数据。数据集标注体系涵盖细粒度子任务分割、场景语义分类以及末端执行器运动学参数，具体包括六维位姿信息、运动方向分类、速度加速度量化等特征。特别值得注意的是，该数据集完整记录了双手协同操作的36维关节状态与动作空间，为复杂操作策略的学习提供了丰富监督信号。

使用方法

针对机器人模仿学习与策略训练的应用场景，该数据集支持端到端的机器学习流程。研究者可通过标准化的Parquet数据格式直接加载观测状态与动作序列，利用四路视觉输入与多模态标注信息构建感知控制模型。数据集完全兼容LeRobot生态系统，支持从原始视频帧到关节控制指令的完整数据处理链路。训练时可依据分块索引快速访问特定操作片段，通过子任务标注实现分层强化学习，末端执行器运动学特征则为动态运动基元学习提供重要支撑。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同执行复杂任务一直是研究热点。AIRBOT_MMK2_take_down_umbrella_and_mineral_water数据集由RoboCOIN团队于2025年创建，基于LeRobot框架构建，专注于家庭环境中的双手精细操作任务。该数据集通过AIRBOT_MMK2机器人平台采集，配备五指灵巧手末端执行器，涵盖抓取、放置、拾取等原子动作，旨在解决双手协同操作中的动作规划与执行问题。其包含212个任务片段、31517帧数据及多视角视频记录，为机器人模仿学习与强化学习算法提供了高质量的训练资源，显著推动了家庭服务机器人操作能力的发展。

当前挑战

该数据集致力于解决双手精细操作任务中的多重挑战，包括复杂物体抓取姿态的精确控制、双手动作的时序协调以及环境交互中的动态适应性。在构建过程中，面临数据采集同步性的技术难题，需确保四路摄像头视角与机器人状态数据的精确对齐；同时，五指灵巧手的高自由度控制增加了动作标注的复杂性，要求对末端执行器的位姿、速度、加速度等多维度运动特征进行精细化标注。此外，家庭场景中物体的多样性与摆放不确定性，对数据集的泛化能力提出了更高要求。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过212个完整操作序列和31517帧多视角视频数据，为双手机器人协同操作提供了标准化研究平台。其经典应用体现在对抓取、放置、拾取等基础动作的精细标注，特别是双手同步操作任务的分解与执行，为机器人动作规划算法的训练与验证奠定了数据基础。

实际应用

面向家庭服务机器人开发，该数据集支撑了日常物品操作技能的自动化学习。通过雨伞、矿泉水瓶等常见家居物品的操作演示，为机器人适应非结构化环境提供了实践依据。多摄像头视角与末端执行器传感器数据的同步采集，显著提升了现实场景中机器人操作系统的感知与决策能力。

衍生相关工作

基于该数据集衍生的研究推动了RoboCOIN项目在双手机器人操作领域的持续发展。其与LeRobot框架的深度整合催生了多模态机器人学习的新范式，相关成果在动作生成、任务分解等方向形成了系列经典工作，为开源机器人社区提供了可复现的算法基准。