AIRBOT_MMK2_store_peaches_and_pears

这是一个名为AIRBOT_MMK2_store_peaches_and_pears的数据集，主要包含机器人在家庭场景中执行抓取、放置桃子和梨的任务。数据集基于LeRobot格式扩展，并完全兼容LeRobot。数据集由RoboCOIN团队贡献，包含48个场景，共11276帧，192个视频，涵盖了7个子任务，包括抓取桃子、抓取梨、放置桃子和梨等。数据集还提供了丰富的注释，包括子任务分割、场景描述、运动方向、速度、加速度、抓手模式、抓手活动状态等。数据集按照LeRobot格式组织，包含视频、状态数据、动作数据和元数据。

原始信息汇总

AIRBOT_MMK2_store_peaches_and_pears 数据集概述

📋 基本信息

• 数据集名称: AIRBOT_MMK2_store_peaches_and_pears
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 规模分类: 10K-100K
• 格式兼容性: 基于LeRobot扩展格式，完全兼容LeRobot

🤖 机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

🏠 场景类型

• 家庭环境

⚡ 原子动作

• 抓取
• 拾取
• 放置

📊 数据集统计

指标	数值
总情节数	48
总帧数	11276
总任务数	1
总视频数	192
总分块数	1
分块大小	1000
帧率	30

🎯 任务描述

主要任务

一只手将桃子投入一个隔间，同时另一只手将梨投入另一个隔间

子任务

1. 异常
2. 结束
3. 用左手抓取器抓取桃子
4. 用右手抓取器抓取梨
5. 空
6. 用左手抓取器将桃子放入储物箱左隔间
7. 用右手抓取器将梨放入储物箱右隔间

🎥 相机视图

• 包含4个相机视图

🏷️ 可用标注

子任务标注

• 细粒度子任务分割和标注

场景标注

• 语义场景分类和描述

末端执行器标注

• 运动方向分类
• 速度幅度分类
• 加速度幅度分类

抓取器标注

• 开/关状态标注
• 活动状态分类

附加特征

• 末端执行器仿真姿态（6D姿态信息）
• 抓取器开度尺度（连续测量）

📂 数据划分

• 训练集: 情节0-47

📁 数据集结构

文件组织

• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 分块: 数据组织为1个分块，每个分块大小1000

特征架构

视觉观测

• observation.images.cam_high_rgb: 视频，帧率30，编码av1
• observation.images.cam_left_wrist_rgb: 视频，帧率30，编码av1
• observation.images.cam_right_wrist_rgb: 视频，帧率30，编码av1
• observation.images.cam_third_view: 视频，帧率30，编码av1

状态和动作

• observation.state: float32
• action: float32

时间信息

• timestamp: float32
• frame_index: int64
• episode_index: int64
• index: int64
• task_index: int64

运动特征

• 末端执行器仿真姿态（状态和动作）
• 末端执行器方向（状态和动作）
• 末端执行器速度（状态和动作）
• 末端执行器加速度幅度（状态和动作）

📄 目录结构

AIRBOT_MMK2_store_peaches_and_pears_qced_hardlink/ ├── annotations/ ├── data/ │ └── chunk-000/ ├── meta/ └── videos/ └── chunk-000/ ├── observation.images.cam_high_rgb/ ├── observation.images.cam_left_wrist_rgb/ ├── observation.images.cam_right_wrist_rgb/ └── observation.images.cam_third_view/

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

👥 贡献者

• RoboCOIN团队

📚 引用

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

📌 版本信息

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，该数据集采用AIRBOT_MMK2双臂机器人配合五指灵巧手，基于LeRobot扩展格式构建而成。数据采集过程包含48个完整操作序列，总计11276帧图像数据，通过四路高清摄像头以30帧率同步记录多视角视觉信息。所有数据按1000帧为单元进行分块存储，采用标准化parquet格式封装机器人状态、动作指令及丰富注释信息，确保与主流机器人学习框架的兼容性。

特点

该数据集显著特点在于其多模态数据融合架构，同时提供高位视角、左右腕部视角及第三方视角的四路RGB视频流。注释体系涵盖精细的子任务分割、场景语义分类以及末端执行器的运动学参数，包括六维位姿、速度加速度量级和抓取器开合状态等36维关节空间数据。这种多维度的标注策略为研究双臂协同操作与精细抓取任务提供了完整的感知-动作对应关系。

使用方法

研究者可通过加载标准parquet文件直接获取机器人状态观测与动作序列，利用预定义的数据切分方案进行模型训练。数据集支持端到端模仿学习与强化学习范式，用户可基于多视角视觉输入联合末端执行器位姿信息，构建从感知到控制的映射模型。配套的注释文件便于开展细粒度行为分析，如抓取放置动作的时序分解与运动轨迹优化研究。

背景与挑战

背景概述

在机器人操作研究领域，双手机器人协同任务因其在家庭服务等场景中的广泛应用而备受关注。AIRBOT_MMK2_store_peaches_and_pears数据集由RoboCOIN团队于2025年11月发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于双手机器人在家庭环境中执行水果分拣与存储任务。通过采用AIRBOT_MMK2机器人平台与五指灵巧手末端执行器，数据集记录了48个完整操作序列，涵盖抓取、拾取、放置等基础动作，为研究双手机器人协同控制与精细操作提供了重要数据支撑。该数据集基于LeRobot框架构建，其多视角视觉观测与丰富运动标注体系显著推动了机器人模仿学习与行为克隆方法的发展。

当前挑战

该数据集致力于解决双手机器人协同操作中的动作同步与物体分拣难题，具体体现在多指灵巧手的精细抓取控制、双机械臂运动轨迹规划以及动态环境下的物体定位等核心问题。在数据构建过程中，研究团队面临多重技术挑战：双机器人系统的状态同步需要精确的时间戳对齐，五指灵巧手的高维动作空间导致数据标注复杂度激增，四路视觉传感器数据融合需保持时空一致性，此外家居场景中非结构化环境增加了操作轨迹的多样性要求。这些挑战共同构成了该数据集在机器人操作学习领域的重要研究价值。

常用场景

经典使用场景

在家庭环境机器人操作研究中，该数据集为双手机器人协同分拣任务提供了标准化的实验平台。通过记录AIRBOT_MMK2机器人双手分别抓取桃子与梨并放置至对应储物格的全过程，数据集完整呈现了多指灵巧手的抓取策略与双臂运动规划。其包含的11276帧多视角视频数据与36维关节状态信息，为模仿学习与强化学习算法提供了丰富的训练样本，特别适用于研究双手协调操作中的动作分解与任务并行执行机制。

解决学术问题

该数据集有效解决了机器人操作领域多项关键学术问题。通过精细标注的末端执行器位姿、速度与加速度数据，为动态抓取力学建模提供了实证基础；其多层次任务标注体系支持从原子动作到复合任务的层次化学习研究；多模态感知数据融合了四路摄像头观测信息，助力解决视觉-动作映射的语义鸿沟问题。这些特性显著推进了机器人操作中的状态表示学习与策略泛化能力研究。

衍生相关工作

基于该数据集衍生的经典研究包括RoboCOIN项目提出的分层强化学习框架，该框架利用数据集中细粒度动作标注实现了任务分解与策略复用。LeRobot生态系统中集成的行为克隆算法通过该数据集验证了多模态观测下的策略学习效果。后续研究进一步拓展了双手操作的动作基元库，开发出适用于复杂家居场景的模块化操作技能，推动了开源机器人数据生态的标准化进程。