AIRBOT_MMK2_bowl_storage_pepper

这是一个基于LeRobot格式的机器人操作数据集，包含丰富的注释和特征，用于训练和评估机器人模型。数据集分为多个剧集，每个剧集包含视频、状态数据、动作数据和元数据。数据集还包括子任务、场景、末端执行器和夹持器的注释。数据集遵循Apache-2.0许可证发布，可用于研究和开发目的。

原始信息汇总

AIRBOT_MMK2_bowl_storage_pepper 数据集概述

📋 基本信息

• 数据集名称: AIRBOT_MMK2_bowl_storage_pepper
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 规模类别: 10K-100K

🤖 机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

🏠 场景类型

• 家庭场景

🎯 原子动作

• 抓取
• 拾取
• 放置

📊 数据集统计

指标	数值
总情节数	150
总帧数	19594
总任务数	3
总视频数	600
总分块数	1
分块大小	1000
帧率	30

🎯 任务描述

主要任务

• 用一只手将南瓜放入大白碗中，同时用另一只手腾出空间
• 用一只手将辣椒扔进蓝碗中
• 用一只手将小碗放入大碗中，同时用另一只手腾出空间

子任务

1. 异常
2. 结束
3. 用左手抓爪抓取南瓜
4. 用左手抓爪抓取白碗
5. 用右手抓爪抓取黄色圆辣椒
6. 空
7. 用左手抓爪将南瓜放在粉红碗上
8. 用左手抓爪将白碗放在粉红碗上
9. 用右手抓爪将黄色圆辣椒放在蓝碗上
10. 静态

📁 数据集结构

数据文件组织

• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征架构

视觉观测

• observation.images.cam_high_rgb: 视频 (480×640×3, 30fps, AV1编码)
• observation.images.cam_left_wrist_rgb: 视频 (480×640×3, 30fps, AV1编码)
• observation.images.cam_right_wrist_rgb: 视频 (480×640×3, 30fps, AV1编码)
• observation.images.cam_third_view: 视频 (480×640×3, 30fps, AV1编码)

状态与动作

• observation.state: float32 (36维)
• action: float32 (36维)

时间信息

• 时间戳、帧索引、情节索引、任务索引

标注信息

• 子任务标注、场景标注
• 末端执行器模拟位姿（状态和动作）
• 末端执行器方向、速度、加速度分类
• 抓爪模式和活动状态

📂 数据划分

• 训练集: 情节0-149

🏷️ 可用标注

子任务标注

• 细粒度子任务分割和标注

场景标注

• 语义场景分类和描述

末端执行器标注

• 运动方向分类
• 速度大小分类
• 加速度大小分类

抓爪标注

• 开/关状态标注
• 活动状态分类

附加特征

• 末端执行器模拟位姿（6D位姿信息）
• 抓爪开度尺度（连续测量值）

👥 作者信息

• 贡献者: RoboCOIN团队

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 项目页面: https://flagopen.github.io/RoboCOIN/
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📚 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，AIRBOT_MMK2_bowl_storage_pepper数据集通过双手机器人系统在家庭场景中执行物体抓取与放置任务构建而成。该数据集采用LeRobot扩展格式，包含150个完整操作序列，总计19594帧视觉数据，通过四路高清摄像头以30帧率同步记录机械臂运动轨迹。数据以分块形式组织为Parquet文件，每个数据块容纳1000个操作片段，确保大规模数据的高效存储与读取。

特点

该数据集的核心价值体现在其多模态标注体系的完整性上，不仅涵盖机械臂关节状态与动作指令的36维连续数据，更提供精细化的子任务分割标注与场景语义描述。四路视角的视觉数据包含全局视角、双腕部视角及第三方视角，配合末端执行器的六维位姿、运动方向、速度加速度等多维度运动特征，为模仿学习与行为分析研究提供立体化数据支撑。双手五指灵巧手的操作特性进一步丰富了数据集的复杂性与实用性。

使用方法

研究者可通过LeRobot框架直接加载该数据集，利用其标准化的数据接口访问多路视频流与状态动作序列。训练集涵盖全部150个操作片段，支持端到端的策略学习与行为克隆任务。数据集的层次化标注体系允许研究者分别针对子任务分割、运动轨迹分析、场景理解等不同维度展开研究，其兼容性设计确保能够无缝接入现有机器人学习管道，为双臂协调操作算法的开发提供基准测试平台。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同控制一直是实现复杂任务的关键技术方向。AIRBOT_MMK2_bowl_storage_pepper数据集由RoboCOIN团队于2025年发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于家庭环境中的双手机器人精细操作任务。通过采用AIRBOT_MMK2机器人平台与五指灵巧手末端执行器，数据集记录了包含抓取、拾取、放置等原子动作的150个完整操作序列，涵盖碗具收纳与辣椒处理等典型家庭场景。其基于LeRobot框架的扩展格式设计，为机器人模仿学习与策略优化提供了包含多视角视觉观测、关节状态数据与丰富运动标注的大规模实验数据，显著推进了双手机器人在非结构化环境中的操作能力研究。

当前挑战

该数据集致力于解决双手机器人在动态环境中进行精细物体操作的重大挑战，包括多模态感知融合、双手运动轨迹协调以及复杂场景下的任务规划等核心问题。在数据构建过程中，研究团队面临多维度技术难题：需要同步采集四路高清视频流与36维关节状态数据，确保时序对齐精度；针对五指灵巧手的精细操作，需设计复杂的末端执行器姿态标注体系；同时，在家庭场景的多样性约束下，需保持任务执行范式的一致性以支持有效的机器学习建模。这些挑战的克服为机器人操作研究提供了高质量基准数据，但也凸显出在真实环境中实现鲁棒双手机器人操作仍需突破感知、控制与规划的综合技术瓶颈。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过双手机械臂协同操作场景，为模仿学习算法提供了丰富的训练样本。其经典应用体现在多视角视频序列与精细动作标注的结合，使研究者能够构建端到端的操作策略模型。数据集涵盖抓取、拾取、放置等基础动作的完整执行流程，为机器人精细操作任务建立了标准化评估基准。

实际应用

在家庭服务机器人领域，该数据集支撑了餐具整理、食材分装等日常任务的自动化实现。其记录的双手协调操作模式为工业装配线中的精密部件安装提供了技术参照。基于真实场景的视觉-动作映射关系，显著提升了服务机器人在动态环境中的操作适应性与任务完成可靠性。

衍生相关工作

基于该数据集衍生的研究推动了LeRobot生态系统的完善，催生了多模态融合的模仿学习框架创新。相关工作拓展了时序动作预测模型在长期任务规划中的应用，促进了机器人操作知识迁移方法的发展。其标准化的数据格式更成为开源机器人学习社区的重要基准，持续推动着具身智能研究范式的演进。