AIRBOT_MMK2_storage_remote_control_clip_box_water_bottle

该数据集基于LeRobot的扩展格式，并与之完全兼容。它使用了AIRBOT_MMK2机器人，代码库版本为v2.1，以及五指手末端执行器。数据集涵盖了家庭场景类型，并包括了抓取、拾取和放置等原子动作。数据集包含47个总剧集，9890个总帧，1个总任务，188个总视频，以及1个大小为1000的块。数据集遵循LeRobot格式组织，并包括各种类型的注释和特征，如子任务分割、场景描述、末端执行器运动方向、速度和加速度、抓手模式和活动状态，以及额外的运动特征。数据集被分为训练和测试集，其中训练集包含第0到第46个剧集。数据集在Apache-2.0许可下发布。

原始信息汇总

AIRBOT_MMK2_storage_remote_control_clip_box_water_bottle 数据集概述

数据集基本信息

• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 标签: RoboCOIN, LeRobot
• 规模类别: 1K-10K

机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

场景与动作

• 场景类型: 家庭环境
• 原子动作: 抓取、拾取、放置

数据集统计

指标	数值
总情节数	47
总帧数	9890
总任务数	1
总视频数	188
总分块数	1
分块大小	1000
帧率	30

任务描述

主要任务

单手拿起遥控器夹爪的同时，另一只手拿起矿泉水瓶；第一只手将其物品放入盒子中，随后另一只手执行相同操作。

子任务

1. 异常
2. 结束
3. 用左手夹爪抓取遥控器夹爪
4. 用右手夹爪抓取水瓶
5. 用左手夹爪抬起遥控器夹爪
6. 用右手夹爪抬起水瓶
7. 空
8. 用左手夹爪将遥控器夹爪放入纸板箱
9. 用右手夹爪将水瓶放入纸板箱
10. 静态

数据特征

视觉观测

• 4个摄像机视角：高角度RGB、左手腕RGB、右手腕RGB、第三视角
• 视频格式：AV1编码，480×640分辨率，30帧/秒

状态与动作

• 观察状态：36维浮点数（左右臂和手部关节角度）
• 动作数据：36维浮点数（左右臂和手部关节控制）

注释信息

• 子任务注释：细粒度子任务分割和标注
• 场景注释：语义场景分类和描述
• 末端执行器注释：方向、速度、加速度分类
• 夹爪注释：开闭状态、活动状态

运动特征

• 末端执行器仿真姿态（状态和动作）
• 末端执行器方向、速度、加速度（状态和动作）

数据组织

文件结构

• 数据文件: Parquet格式，按分块组织
• 视频文件: MP4格式，按摄像机和分块组织
• 注释文件: JSONL格式，包含各类注释信息

数据分割

• 训练集: 情节0-46

作者与链接

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

版本信息

• 初始版本: v1.0.0 (2025年11月)

搜集汇总

数据集介绍

构建方式

在机器人操作数据集构建领域，本数据集基于LeRobot框架进行扩展开发，采用AIRBOT_MMK2双手机器人平台与五指灵巧手末端执行器。数据采集通过47个完整操作片段实现，涵盖家庭环境下的抓取、拾取、放置等基础动作，共包含9890帧视觉数据与188段多视角视频。数据以分块形式组织为Parquet格式，每块包含1000个连续操作序列，确保时序连贯性与数据完整性。

特点

该数据集的核心价值在于其丰富的多模态标注体系，不仅提供四路同步视频流（包含高位视角、双腕部视角及第三方视角），还具备精细的末端执行器运动学参数标注。数据集完整记录了双手协同操作过程中36维关节状态与动作空间，同时标注了末端位姿、速度、加速度等运动特征，以及抓取器开合状态与活动模式。这种多层次标注结构为研究双臂协调控制与精细操作策略提供了坚实基础。

使用方法

研究者可通过LeRobot标准接口直接加载该数据集，利用其预定义的数据分割方案进行模型训练与验证。数据集支持端到端模仿学习与强化学习任务，用户可基于多视角视觉输入与状态动作对构建控制策略。对于特定研究需求，可单独调用运动学标注数据进行分析，或结合子任务分割信息研究操作序列的层次化结构。数据集的标准化格式确保其能与主流机器人学习框架无缝集成。

背景与挑战

背景概述

在机器人操作研究领域，双手机器人协同作业已成为提升复杂任务执行能力的关键方向。AIRBOT_MMK2_storage_remote_control_clip_box_water_bottle数据集由RoboCOIN团队于2025年发布，依托Apache 2.0开源协议与LeRobot框架深度融合。该数据集聚焦家庭环境下的多对象协同操作任务，通过AIRBOT_MMK2双手机器人平台采集了47个完整操作序列，涵盖抓取、拾取、放置等基础动作单元。其核心价值在于提供了精细化的末端执行器运动轨迹标注与多视角视觉数据，为研究双臂协调控制与非结构化环境下的物体操作奠定了数据基础。

当前挑战

该数据集致力于解决双手机器人协同操作中的动作时序规划与动态环境适应问题。构建过程中面临多重技术挑战：多视角视频数据同步需要精确的时间戳对齐机制，双臂运动轨迹标注需处理高维连续动作空间，而家居场景的照明变化与物体遮挡则增加了视觉感知的复杂度。此外，五指灵巧手的精细操作要求对抓取力度与姿态进行毫米级标注，末端执行器的六维位姿数据采集需克服传感器噪声与标定误差，这些因素共同构成了数据集构建的技术壁垒。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过双手机械臂协同完成物品抓取与放置任务，为研究双手协调控制提供了标准化实验平台。其包含的抓握、拾取、放置等原子动作序列，配合多视角视觉观测与精细的运动标注，成为开发模仿学习与强化学习算法的理想测试环境。

实际应用

在家庭服务机器人场景中，该数据集支撑了物品整理系统的开发，通过模拟遥控器夹与水瓶的协同收纳过程，为智能家居环境下的物体分拣与存储提供了技术验证。其多摄像头视角与真实物理交互数据可直接迁移至家庭助理机器人的抓取控制系统。

衍生相关工作

基于该数据集衍生的研究主要集中于多模态动作生成与任务推理领域，其中RoboCOIN团队提出的分层强化学习框架实现了对复杂操作序列的端到端学习。后续工作进一步结合LeRobot生态，开发出适用于动态场景的实时动作预测模型。