AIRBOT_MMK2_screw_the_bottle_cap

这是一个基于LeRobot扩展格式的数据集，与LeRobot完全兼容。它专注于机器人任务，特别是使用AIRBOT_MMK2机器人拧瓶盖的动作。数据集包括抓取、捡起和放置等原子动作，并包含子任务、场景、末端执行器和夹爪状态的丰富注释。数据集包含50个场景，16965帧，1个任务，200个视频，并分为1个包含1000个场景的块。数据集遵循Apache-2.0许可证，由RoboCOIN团队贡献。主要任务是拿起水瓶，拧下盖子，然后将水瓶放在桌子上。数据集还包括4个不同的摄像机视图以及各种运动和夹爪特征。

This is a dataset built on the extended LeRobot format and fully compatible with LeRobot. It focuses on robotic manipulation tasks, specifically the cap-unscrewing operation performed with the AIRBOT_MMK2 robot. The dataset contains atomic actions such as grasping, picking up, and placing, alongside comprehensive annotations for subtasks, scenes, end-effectors, and gripper states. The dataset comprises 50 scenes, 16965 frames, 1 distinct task, and 200 videos, and is partitioned into 1 chunk that contains 1000 scenes. The dataset is licensed under Apache-2.0 and contributed by the RoboCOIN Team. The core task of the dataset is to pick up a water bottle, unscrew its cap, and place the bottle onto the table. Additionally, the dataset provides 4 distinct camera viewpoints, along with various motion and gripper-related features.

原始信息汇总

AIRBOT_MMK2_screw_the_bottle_cap 数据集概述

基本信息

• 数据集名称: AIRBOT_MMK2_screw_the_bottle_cap
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN、LeRobot
• 规模分类: 10K-100K

机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

场景与动作

• 场景类型: 家庭环境
• 原子动作: 抓取、拾取、放置

数据集统计

指标	数值
总情节数	50
总帧数	16965
总任务数	1
总视频数	200
总分块数	1
分块大小	1000
帧率	30

任务描述

主要任务

用一只手拿起水瓶，用另一只手拧开瓶盖，并将瓶子放在桌子上。

子任务

1. 结束
2. 用左手抓取器抓住瓶子
3. 用左手抓取器抬起瓶子
4. null
5. 用左手抓取器将瓶子放在桌子上
6. 用右手拧开瓶盖，同时用左手握住瓶子

数据特征

视觉观测

• observation.images.cam_high_rgb: 视频 (480×640×3, 30fps, AV1编码)
• observation.images.cam_left_wrist_rgb: 视频 (480×640×3, 30fps, AV1编码)
• observation.images.cam_right_wrist_rgb: 视频 (480×640×3, 30fps, AV1编码)
• observation.images.cam_third_view: 视频 (480×640×3, 30fps, AV1编码)

状态与动作

• observation.state: float32 (36维关节状态)
• action: float32 (36维关节动作)

注释信息

• 子任务注释: 细粒度子任务分割和标注
• 场景注释: 语义场景分类和描述
• 末端执行器注释: 运动方向、速度、加速度分类
• 抓取器注释: 开/关状态、活动状态

运动特征

• 末端执行器模拟位姿: 6D位姿信息（状态和动作）
• 抓取器开度尺度: 连续抓取器开度测量

数据组织

文件结构

• 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

数据分割

• 训练集: 情节0-49

作者与链接

贡献者

• RoboCOIN团队

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 项目页面: https://flagopen.github.io/RoboCOIN/
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

技术规格

• 格式兼容: 基于LeRobot扩展格式，完全兼容LeRobot
• 相机视角: 4个相机视角
• 数据分块: 1个分块，每个分块1000个情节

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，AIRBOT_MMK2_screw_the_bottle_cap数据集采用扩展版LeRobot格式构建，通过AIRBOT_MMK2双手机器人执行拧瓶盖任务。数据采集过程包含50个完整操作序列，总计16965帧视觉与运动数据，以30帧率记录四路摄像头视角。数据以分块形式组织为Parquet文件，每块包含1000个操作片段，并配备详尽的元数据描述文件，确保与LeRobot生态系统的完全兼容性。

特点

该数据集在机器人操作任务中展现出多模态特性，融合四路高清视频流与36维关节状态动作空间。其独特价值在于精细的末端执行器运动标注体系，涵盖位姿、速度、加速度等多维度运动特征。数据集提供细粒度的子任务分割标注，将拧瓶盖操作分解为抓取、提起、旋拧等六个原子动作，并配备抓持器开合状态与活动性标注，为双手机器人协同操作研究提供丰富语义信息。

使用方法

研究者可通过LeRobot标准接口加载该数据集，利用其预定义的数据分割方案进行模型训练与验证。数据集支持端到端模仿学习与强化学习范式，用户可基于多视角视觉观察与关节状态数据构建策略网络。对于动作分割研究，丰富的子任务标注支持时序动作识别与分割任务。数据集的标准化格式便于与现有机器人学习框架集成，同时提供完整的仿真位姿信息以支持sim2real迁移研究。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同执行复杂任务一直是研究重点。AIRBOT_MMK2_screw_the_bottle_cap数据集由RoboCOIN团队于2025年发布，聚焦于双手协同拧瓶盖这一精细操作任务。该数据集基于LeRobot框架构建，采用AIRBOT_MMK2机器人平台与五指灵巧手末端执行器，通过50个任务片段和16965帧数据，系统记录了多视角视觉观测、关节状态与动作轨迹。其核心研究在于解决双手机器人动作协调与精细操作控制问题，为家庭环境下的机器人操作学习提供了重要数据支撑。

当前挑战

该数据集针对双手机器人精细操作任务，需克服双手协同拧瓶盖时的高维动作空间建模与动态接触力控制难题。构建过程中面临多模态数据同步采集的技术挑战，包括四路摄像头视觉数据与36维关节状态数据的时序对齐。同时，五指灵巧手的复杂抓取姿态标注需要精确的语义分割，而双机械臂运动轨迹的六维位姿标注对数据一致性提出了严格要求。这些挑战共同推动了机器人操作数据标准化与多模态融合技术的发展。

常用场景

经典使用场景

在机器人灵巧操作研究领域，该数据集聚焦于双手协调的精细任务执行，通过拧瓶盖这一经典动作序列，为模仿学习与强化学习算法提供了标准化的测试平台。其多视角视觉观测与丰富的运动标注，使研究者能够深入分析抓取、提升、旋转等原子动作的时序组合规律，为双手机器人任务分解与策略优化奠定了数据基础。

解决学术问题

该数据集有效解决了机器人操作中双手协同控制的学术难题，通过提供精确的末端执行器位姿、速度与加速度标注，为动态系统建模与运动规划算法验证创造了条件。其细粒度的子任务标注体系，突破了传统动作分割的局限性，使得长期任务的可解释性学习与层次化策略建模成为可能，显著推进了机器人操作技能泛化研究的发展进程。

衍生相关工作

基于该数据集衍生的研究已形成系列经典成果，包括RoboCOIN项目提出的多模态数据融合框架与LeRobot扩展标准。这些工作通过统一的行为克隆与离线强化学习基准，推动了机器人操作数据集的标准化进程，并为后续双手操作数据集的构建提供了可复用的标注体系与评估范式，持续丰富着机器人学习社区的方法论工具箱。