AIRBOT_MMK2_storage_wet_tissue_and_building_block

AIRBOT_MMK2_storage_wet_tissue_and_building_block数据集是一个用于机器人操作的扩展格式数据集，完全兼容LeRobot。该数据集使用AIRBOT_MMK2机器人，代码库版本为v2.1，末端执行器类型为五指手。数据集涵盖了家庭场景，包括抓取、拾取和放置等基本动作。数据集提供了丰富的注释，包括子任务分割、场景描述、末端执行器方向、速度、加速度、抓手模式和活动状态等。数据集还包括末端执行器模拟姿态和抓手开启尺度等附加特征。数据集被组织成训练和测试两部分，并提供详细的元数据信息。数据集的目录结构清晰，易于使用。

原始信息汇总

AIRBOT_MMK2_storage_wet_tissue_and_building_block 数据集概述

📋 基本信息

• 数据集名称: AIRBOT_MMK2_storage_wet_tissue_and_building_block
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN、LeRobot
• 规模类别: 10K-100K

🤖 机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

🏠 场景类型

• 家庭环境

⚡ 原子动作

• 抓取
• 拾取
• 放置

📊 数据集统计

指标	数值
总情节数	47
总帧数	11526
总任务数	1
总视频数	188
总分块数	1
分块大小	1000
帧率	30

🎯 任务描述

主要任务

用一只手将湿巾放入白色平台，用另一只手将拱形积木放入白色平台

子任务

1. 异常
2. 结束
3. 用右手夹爪抓取拱形积木
4. 用左手夹爪抓取湿巾
5. 空
6. 用右手夹爪将拱形积木放置在白色板上
7. 用左手夹爪将湿巾放置在白色板上

🎥 相机视图

• 包含4个相机视图

🏷️ 可用标注

子任务标注

• 细粒度子任务分割和标注

场景标注

• 场景级描述：语义场景分类和描述

末端执行器标注

• 方向：机器人末端执行器运动方向分类
• 速度：操作过程中的速度大小分类
• 加速度：运动分析的加速度大小分类

夹爪标注

• 夹爪模式：夹爪开/闭状态标注
• 夹爪活动：活动状态分类（活动/非活动）

附加特征

• 末端执行器仿真姿态：仿真空间中末端执行器的6D姿态信息（状态和动作均可用）
• 夹爪开度尺度：连续夹爪开度测量（状态和动作均可用）

📂 数据划分

• 训练集: 情节0:46

📁 数据集结构

数据文件

• 视频: 包含RGB相机观测的压缩视频文件
• 状态数据: 机器人关节位置、速度和其他状态信息
• 动作数据: 机器人动作指令和轨迹
• 元数据: 情节元数据、时间戳和标注

文件组织

• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 分块: 数据组织为1个分块，大小为1000

特征架构

视觉观测

• observation.images.cam_high_rgb: 视频（帧率30，编码av1）
• observation.images.cam_left_wrist_rgb: 视频（帧率30，编码av1）
• observation.images.cam_right_wrist_rgb: 视频（帧率30，编码av1）
• observation.images.cam_third_view: 视频（帧率30，编码av1）

状态和动作

• observation.state: float32
• action: float32

时间信息

• timestamp: float32
• frame_index: int64
• episode_index: int64
• index: int64
• task_index: int64

标注

• subtask_annotation: int32
• scene_annotation: int32

运动特征

• eef_sim_pose_state: float32（12维）
• eef_sim_pose_action: float32（12维）
• eef_direction_state: int32（2维）
• eef_direction_action: int32（2维）
• eef_velocity_state: int32（2维）
• eef_velocity_action: int32（2维）
• eef_acc_mag_state: int32（2维）
• eef_acc_mag_action: int32（2维）

👥 作者

• 贡献者: RoboCOIN - RoboCOIN团队

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 项目页面: https://flagopen.github.io/RoboCOIN/
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📄 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

📌 版本信息

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，该数据集采用AIRBOT_MMK2双手机器人平台，通过五指灵巧手执行家庭环境中的物品存储任务。数据采集过程包含47个完整操作序列，总计11526帧视觉与状态数据，以LeRobot扩展格式组织为分块存储结构。每个操作片段均通过多视角视频流与36维关节状态同步记录，采用AV1编码保存480×640分辨率的RGB影像，并以Parquet格式高效存储动作轨迹与注释信息。

特点

该数据集显著特征在于其多模态注释体系，不仅包含四路同步视频流（全局视角、双腕部视角及第三方视角），还提供末端执行器的六维位姿、运动方向、速度与加速度分类标注。针对双手协同操作场景，数据集细致标注了抓取与放置等原子动作，并包含12维手部关节控制信息。丰富的语义注释覆盖子任务分割、场景分类及夹爪活动状态，为模仿学习与行为分析提供立体化数据支撑。

使用方法

研究者可通过LeRobot兼容接口直接加载数据集，利用标准数据加载器读取分块存储的Parquet文件与MP4视频流。训练阶段可调用观察状态（36维关节角度）与动作空间（36维控制指令）构建策略模型，结合子任务注释实现分层强化学习。多视角视觉输入支持跨模态表征学习，末端执行器运动标注可用于轨迹生成验证，而丰富的元数据则为行为克隆与状态转移模型提供结构化训练样本。

背景与挑战

背景概述

在机器人操作研究领域，双手机器人协同作业一直是实现复杂任务的关键技术方向。AIRBOT_MMK2_storage_wet_tissue_and_building_block数据集由RoboCOIN团队于2025年11月发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于家庭环境下的双手机器人精细操作任务。通过AIRBOT_MMK2机器人平台配备五指灵巧手，数据集记录了同时处理湿巾与拱形积木的存储过程，其核心研究问题在于解决双手机器人在非结构化环境中的协同抓取与放置难题。该数据集基于LeRobot扩展格式构建，包含47个任务片段和11526帧多视角视频数据，为机器人模仿学习与行为克隆提供了丰富的训练资源，显著推动了家庭服务机器人操作能力的发展。

当前挑战

该数据集致力于解决双手机器人协同操作的领域挑战，包括不同材质物体的适应性抓取策略、双手动作的时序协调性以及环境不确定性的应对能力。在构建过程中，研究者面临多模态数据同步的技术难题，需要精确对齐四个摄像头的视觉数据与36维关节状态信息。同时，五指灵巧手的精细控制要求产生了高维动作空间，使得动作标注与轨迹规划变得异常复杂。数据采集过程中还需克服湿巾的形变特性与积块的精确定位问题，这些因素共同构成了数据集构建过程中的实质性挑战。

常用场景

经典使用场景

在机器人操作研究领域，该数据集通过双手机器人协同执行湿纸巾与积木的存储任务，为模仿学习与强化学习算法提供了标准化的测试平台。其多视角视觉观测与精细的动作标注，使得研究人员能够系统分析双臂协调抓取、放置等基础操作策略，为复杂环境下的机器人技能泛化研究奠定数据基础。

解决学术问题

该数据集有效应对了机器人操作研究中双肢协同控制的建模难题，通过提供包含末端执行器位姿、速度、加速度等多维度标注数据，解决了动态环境下抓取力度控制与物体形变适应等关键问题。其丰富的子任务分割标注为层次化策略学习提供了结构化支撑，显著推进了家庭服务机器人操作技能的自动化学习进程。

衍生相关工作

基于该数据集构建的标准化测试基准，已衍生出多项关于多模态感知融合与双臂运动规划的前沿研究。其与LeRobot框架的深度兼容性催生了系列跨数据集迁移学习工作，同时RoboCOIN项目通过统一数据格式促进了不同机器人平台间的算法比较与性能评估，形成开放协作的机器人学习生态。