AIRBOT_MMK2_store_beauty_blender_and_building_blocks

AIRBOT_MMK2_store_beauty_blender_and_building_blocks数据集是一个基于LeRobot格式的机器人操作数据集，包含丰富的视频、状态数据、动作数据和注释。数据集覆盖家庭场景，包含抓取、放置、拾取等原子动作。数据集分为训练集和测试集，并提供详细的元信息。数据集使用Apache-2.0许可证发布。

原始信息汇总

AIRBOT_MMK2_store_beauty_blender_and_building_blocks 数据集概述

📋 基本信息

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手
• 数据格式: 基于LeRobot的扩展格式，完全兼容LeRobot
• 许可证: Apache-2.0
• 支持语言: 英语、中文

🏠 场景类型

• 家庭场景

🤖 原子动作

• 抓取
• 放置
• 拾取

📊 数据集统计

指标	数值
总片段数	50
总帧数	9178
总任务数	1
总视频数	200
总分块数	1
分块大小	1000
帧率	30

🎯 任务描述

主要任务

用一只手将美容搅拌器扔进碗中，然后用另一只手将积木扔进碗中

子任务

1. 异常
2. 结束
3. 用左手抓取子弹
4. 用右手抓取绿色长方体块
5. 空
6. 用左手将子弹放入碗中
7. 用右手将绿色长方体块放入碗中

🎥 相机视图

包含4个相机视图

🏷️ 可用标注

子任务标注

• 细粒度子任务分割和标注

场景标注

• 语义场景分类和描述

末端执行器标注

• 运动方向分类
• 速度幅度分类
• 加速度幅度分类

夹爪标注

• 开/关状态标注
• 活动状态分类

附加特征

• 末端执行器仿真姿态（6D姿态信息）
• 夹爪开度尺度（连续测量）

📂 数据划分

• 训练集: 片段0-49

📁 数据集结构

文件组织

• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征架构

视觉观测

• observation.images.cam_high_rgb: 视频，帧率30，编码av1
• observation.images.cam_left_wrist_rgb: 视频，帧率30，编码av1
• observation.images.cam_right_wrist_rgb: 视频，帧率30，编码av1
• observation.images.cam_third_view: 视频，帧率30，编码av1

状态和动作

• observation.state: float32
• action: float32

时间信息

• timestamp: float32
• frame_index: int64
• episode_index: int64
• index: int64
• task_index: int64

运动特征

• eef_sim_pose_state: float32
• eef_sim_pose_action: float32
• eef_direction_state: int32
• eef_direction_action: int32
• eef_velocity_state: int32
• eef_velocity_action: int32
• eef_acc_mag_state: int32
• eef_acc_mag_action: int32

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

🏷️ 数据集标签

• RoboCOIN
• LeRobot

📞 联系方式

• 技术支持: 在GitHub代码库提交问题

📚 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

📌 版本信息

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，本数据集采用AIRBOT_MMK2双手机器人平台，通过扩展LeRobot数据格式构建而成。数据采集过程包含50个完整操作片段，总计9178帧视觉与运动数据，涵盖抓取、放置等基础操作动作。数据以分块形式组织，每个数据块包含1000帧记录，通过四路不同视角的摄像头同步采集家庭环境下的操作视频，并以AV1编码格式保存30帧率的高清影像。

特点

该数据集显著特征在于其多模态标注体系，不仅包含机器人关节状态与动作轨迹的36维连续数据，还提供末端执行器的六维位姿、运动方向、速度及加速度等精细标注。四路摄像头分别从高位、左右腕部及第三方视角捕捉480×640分辨率的操作过程，配合子任务分割标注与场景语义分类，为双手协同操作研究提供了立体化的数据支撑。

使用方法

研究者可通过LeRobot框架直接加载本数据集，数据以Parquet格式存储于指定路径结构。训练集涵盖0至49号操作片段，支持端到端的模仿学习与强化学习算法验证。利用内置的状态观测与动作指令特征，可构建双手协调控制模型，同时多视角视频流与丰富的运动标注为行为克隆、任务分解等研究提供了多粒度监督信号。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同控制一直是实现复杂任务的关键技术。AIRBOT_MMK2_store_beauty_blender_and_building_blocks数据集由RoboCOIN团队于2025年发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于家庭环境下的双手物体操作任务。通过AIRBOT_MMK2机器人平台与五指灵巧手的配合，数据集记录了包括抓取、放置、拾取等原子动作的完整操作序列，为研究双手机器人的协调控制与任务规划提供了宝贵的数据支持。

当前挑战

该数据集致力于解决双手机器人协同操作的复杂性问题，特别是双手交替执行投掷动作时的时序协调与空间避障挑战。在构建过程中，面临多视角视觉数据同步采集的精确性难题，需要确保四个摄像头视角的时间戳严格对齐。同时，36维关节状态与动作数据的实时记录对系统带宽提出严格要求，而五指灵巧手的精细操作标注更需要克服高维度运动参数标定的技术障碍。

常用场景

经典使用场景

在机器人操作学习领域，该数据集为双手协调操作任务提供了标准化的研究平台。其核心应用场景聚焦于双手抓取与放置任务的策略学习，通过记录AIRBOT_MMK2机器人双手分别抓取美妆蛋和积木并投入碗中的完整操作序列，为模仿学习和强化学习算法提供了丰富的训练样本。多视角视觉观测与精细的动作标注相结合，使得研究者能够深入分析双手协同操作时的时序依赖关系和运动规划策略。

实际应用

在工业自动化和家庭服务机器人领域，该数据集具有广泛的实际应用价值。其记录的双手协调操作范式可直接应用于装配线上的零件组装、物流分拣中的物品抓取等工业场景。家庭环境中，类似的双手操作技能能够支持机器人完成餐具摆放、物品整理等日常任务。数据集提供的多视角视觉信息还为机器人视觉伺服控制系统的开发提供了重要支撑，推动了机器人感知-决策-执行一体化技术的发展。

衍生相关工作

基于该数据集的技术特性，已衍生出多个重要的研究方向。在LeRobot框架基础上，研究者开发了新的双手操作模仿学习算法，提升了动作生成的平滑性和任务成功率。多模态融合方法通过结合视觉观测与本体感觉数据，实现了更鲁棒的操作策略。时序动作分割技术利用精细的标注信息，实现了长时序操作任务的自动分解与学习。这些工作共同推动了双手机器人操作技术从实验室演示向实际应用的转化进程。