AIRBOT_MMK2_store_pomegranates_and_mangoes

这是一个基于LeRobot扩展格式的数据集，完全兼容LeRobot。数据集使用了AIRBOT_MMK2机器人，具有五指手末端执行器。它涵盖了家庭场景，包括抓取、拾取和放置等基本动作。数据集包含44个场景，13755帧，176个视频，分为1000大小的块，帧率为30FPS。它包括丰富的子任务、场景、末端执行器和抓手注释，以及运动和其他附加特征。数据集分为训练和测试集，遵循LeRobot格式，具有特定的文件组织和特征模式。该数据集在Apache-2.0许可证下发布，并在研究使用中要求引用。

This is a dataset based on the LeRobot extended format, which is fully compatible with the LeRobot ecosystem. It utilizes the AIRBOT_MMK2 robot equipped with a five-fingered hand end-effector. The dataset covers household scenarios, including basic manipulation tasks such as grasping, picking up, and placing. It contains 44 scenarios, 13755 frames, and 176 videos, which are chunked into blocks of 1000 entries, with a frame rate of 30 FPS. The dataset provides rich annotations for subtasks, scenarios, end-effectors, and grippers, alongside motion-related and other supplementary features. It is partitioned into training and test sets, adheres to the LeRobot format with a specific file organization and feature schema. This dataset is released under the Apache-2.0 license, and citation is required for research usage.

原始信息汇总

AIRBOT_MMK2_store_pomegranates_and_mangoes 数据集概述

📋 基本信息

• 数据集名称: AIRBOT_MMK2_store_pomegranates_and_mangoes
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 标签: RoboCOIN、LeRobot
• 规模分类: 10K-100K

🤖 机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

🏠 场景类型

• 家庭环境

⚡ 原子动作

• 抓取
• 拾取
• 放置

📊 数据集统计

指标	数值
总情节数	44
总帧数	13755
总任务数	1
总视频数	176
总分块数	1
分块大小	1000
帧率	30

🎯 任务描述

主要任务

一只手将石榴投入一个隔间，另一只手将芒果投入另一个隔间

子任务

1. 结束
2. 用右手夹爪抓取芒果
3. 用左手夹爪抓取石榴
4. 空
5. 用右手夹爪将芒果放入储物箱的右隔间
6. 用左手夹爪将石榴放入储物箱的左隔间
7. 静态

🎥 视觉数据

相机视角

• 4个相机视角：
  • 高位RGB相机
  • 左手腕RGB相机
  • 右手腕RGB相机
  • 第三视角相机

视频规格

• 分辨率：480×640
• 帧率：30 FPS
• 编码：AV1
• 像素格式：yuv420p

🏷️ 可用标注

子任务标注

• 细粒度子任务分割和标注

场景标注

• 场景级语义分类和描述

末端执行器标注

• 方向：机器人末端执行器运动方向分类
• 速度：操作过程中的速度幅度分类
• 加速度：运动分析的加速度幅度分类

夹爪标注

• 夹爪模式：夹爪开/关状态标注
• 夹爪活动：活动状态分类（活动/非活动）

附加特征

• 末端执行器仿真位姿：仿真空间中末端执行器的6D位姿信息
• 夹爪开度尺度：连续的夹爪开度测量

📂 数据结构

文件组织

• 数据文件模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征架构

视觉观测

• observation.images.cam_high_rgb: 视频
• observation.images.cam_left_wrist_rgb: 视频
• observation.images.cam_right_wrist_rgb: 视频
• observation.images.cam_third_view: 视频

状态和动作

• observation.state: float32[36]
• action: float32[36]

运动特征

• eef_sim_pose_state: float32[12]
• eef_sim_pose_action: float32[12]
• eef_direction_state: int32[2]
• eef_direction_action: int32[2]
• eef_velocity_state: int32[2]
• eef_velocity_action: int32[2]
• eef_acc_mag_state: int32[2]
• eef_acc_mag_action: int32[2]

📊 数据划分

• 训练集: 情节0-43

👥 贡献者

• RoboCOIN团队

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📄 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

📌 版本信息

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，AIRBOT_MMK2_store_pomegranates_and_mangoes数据集通过双手机器人系统采集了家庭环境下的精细化操作数据。该数据集采用LeRobot扩展格式构建，包含44个完整操作序列，总计13755帧视觉与状态数据。数据采集过程通过AIRBOT_MMK2机器人搭载的五指灵巧手执行石榴与芒果的分拣存储任务，以30帧/秒的采样频率同步记录四路摄像头视角的视觉信息，并采用分块存储机制将数据组织为单个容量1000的数据块。

特点

该数据集在机器人操作数据集领域展现出多模态融合的显著特征。其核心价值在于提供了完整的双手机器人操作轨迹，包含36维关节状态与动作空间的高精度数据。四路异构视觉视角（高位RGB、左右腕部RGB及第三方视角）以480×640分辨率呈现操作场景，同时配备精细的末端执行器运动学标注体系，涵盖位姿、方向、速度、加速度等多维度运动特征。特别值得关注的是数据集提供的精细化任务标注，将操作流程分解为抓取、拾取、放置等原子动作，并配备完整的夹爪状态监测数据。

使用方法

针对机器人模仿学习与操作策略研究，该数据集支持端到端的算法验证流程。研究者可通过标准化的Parquet数据格式直接加载状态观测与动作序列，利用预定义的数据切分方案（训练集包含0-43号操作序列）进行模型训练。多路视频流与机器人状态的时序对齐特性便于开发感知-动作映射模型，而丰富的运动学标注为分析机器人操作动力学提供了结构化基础。数据集与LeRobot生态系统的完全兼容性使得用户能够直接利用现有工具链进行数据可视化、预处理和算法部署。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同执行复杂任务已成为研究热点。AIRBOT_MMK2_store_pomegranates_and_mangoes数据集由RoboCOIN团队于2025年发布，聚焦于家庭环境中双手机器人对石榴和芒果的分类存储任务。该数据集基于LeRobot框架构建，包含44个任务片段和超过1.3万帧数据，通过四视角视觉观测和36维关节状态记录，为双手机器人操作策略研究提供了真实场景下的精细标注数据。其多模态特性与细粒度动作分解，显著推进了机器人灵巧操作与任务规划领域的发展。

当前挑战

该数据集致力于解决双手机器人协同操作中的物体分拣难题，需克服不同形状与质地物体的稳定抓取、双手动作时序协调、以及精准投掷入箱等复杂物理交互问题。在构建过程中，面临多视角数据同步校准、高维动作空间标注一致性、以及仿真与现实传感器数据融合等工程挑战。特别是五指灵巧手的精细操作标注，需平衡动作分割粒度与语义连贯性，这对大规模机器人示范数据的标准化处理提出了更高要求。

常用场景

经典使用场景

在机器人操作学习领域，该数据集为双臂协调操作任务提供了标准化的研究平台。通过记录AIRBOT_MMK2机器人使用五指灵巧手执行石榴和芒果分拣存储的完整流程，数据集涵盖了抓取、拾取、放置等基础操作动作。其多视角视觉观测与精细的动作标注体系，为机器人模仿学习算法的训练与验证构建了理想环境，特别适用于研究复杂物体抓取策略和双手协同控制方法。

实际应用

在工业自动化和家庭服务机器人领域，该数据集具有广泛的应用前景。其记录的物体分拣与存储任务可直接应用于物流分拣、食品加工等行业的自动化生产线。五指灵巧手的操作数据为开发能够处理不规则形状物体的机器人系统提供了重要参考。基于该数据集训练的模型可进一步推广到其他精细操作场景，如医疗辅助机器人、危险环境作业机器人等专业领域。

衍生相关工作

围绕该数据集已衍生出多项重要的研究工作。基于LeRobot框架的扩展应用推动了机器人学习算法的标准化进程，相关研究团队在模仿学习、强化学习等领域取得了显著进展。数据集提供的多模态信息促进了视觉-动作联合建模方法的发展，为端到端机器人控制系统的设计提供了新思路。其开源特性也催生了多个机器人操作基准测试任务，推动了整个领域的算法比较与性能评估标准化。