AIRBOT_MMK2_storage_tissue_paper

这是一个名为AIRBOT_MMK2_storage_tissue_paper的机器人数据集，基于LeRobot的扩展格式，完全兼容LeRobot。该数据集包括抓取、放置和拾取纸巾等原子动作，并覆盖家庭场景。数据集包含丰富的注释和特征，支持多样化的学习方法和分析。数据集遵循Apache-2.0许可证，由RoboCOIN团队贡献。

This is a robotic dataset named AIRBOT_MMK2_storage_tissue_paper. It is based on the extended format of LeRobot and fully compatible with LeRobot. The dataset includes atomic actions such as grasping, placing, and picking up tissue papers, covering home scenarios. It contains rich annotations and features, supporting diverse learning methods and analyses. Licensed under the Apache-2.0 License, this dataset is contributed by the RoboCOIN team.

原始信息汇总

AIRBOT_MMK2_storage_tissue_paper 数据集概述

基本信息

• 数据集名称: AIRBOT_MMK2_storage_tissue_paper
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 规模分类: 1K-10K
• 代码库版本: v2.1

机器人配置

• 机器人类型: AIRBOT_MMK2
• 末端执行器类型: 五指手

场景与动作

• 场景类型: 家庭环境
• 原子动作: 抓取、放置、拾取

数据集统计

指标	数值
总情节数	50
总帧数	6980
总任务数	1
总视频数	200
总分块数	1
分块大小	1000
帧率	30

任务描述

主要任务

从桌上拿起一包纸巾放入盆中，然后从桌上拿起另一包纸巾放入盆中

子任务

1. 异常状态
2. 结束状态
3. 用左手抓取器抓取纸巾
4. 用右手抓取器抓取纸巾
5. 空状态
6. 用左手抓取器将纸巾放入棕色盆中
7. 用右手抓取器将纸巾放入棕色盆中
8. 静态状态

数据特征

视觉观察

• 4个摄像头视角：高位RGB、左手腕RGB、右手腕RGB、第三视角
• 分辨率：480×640×3
• 编码格式：av1
• 帧率：30 FPS

状态与动作

• 状态观察: 36维浮点数（双臂各6关节+双手各12关节）
• 动作数据: 36维浮点数（双臂各6关节+双手各12关节）

时间信息

• 时间戳、帧索引、情节索引、任务索引

丰富标注

• 子任务标注: 细粒度子任务分割和标注
• 场景标注: 语义场景分类和描述
• 末端执行器标注: 方向、速度、加速度分类
• 抓取器标注: 开闭状态、活动状态
• 末端执行器仿真位姿: 6D位姿信息（状态和动作）
• 抓取器开合尺度: 连续开合测量（状态和动作）

数据组织

文件结构

• 数据文件: Parquet格式，按分块组织
• 视频文件: MP4格式，按摄像头视角组织
• 元数据: JSON格式的完整数据集信息

数据分割

• 训练集: 情节0-49

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

贡献者

• RoboCOIN团队

数据集标签

• RoboCOIN
• LeRobot

技术特点

• 基于LeRobot格式扩展并完全兼容
• 支持双臂机器人操作
• 包含丰富的运动分析和抓取控制标注
• 提供仿真空间中的末端执行器位姿信息

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，AIRBOT_MMK2_storage_tissue_paper数据集通过AIRBOT_MMK2双手机器人平台系统构建，采用兼容LeRobot框架的扩展格式进行数据组织。该数据集围绕家庭环境中的纸巾收纳任务展开，包含50个完整操作片段，总计6980帧视觉与运动数据。数据采集过程通过四路高清摄像头同步记录，以30帧率捕捉多视角操作场景，并采用分块存储机制将数据整合为单个千帧级数据块，确保时序连贯性与存储效率的平衡。

特点

该数据集在机器人操作学习领域展现出多维度的技术特征，其核心价值体现在丰富的多模态标注体系。数据集提供四路同步视频流，涵盖全局视角与腕部特写，配合36维关节状态与动作向量构成完整的操作序列。特别值得关注的是精细化的末端执行器运动标注，包含六维位姿、速度加速度分类以及抓取器开合状态监测。子任务分割机制将操作流程解构为8个语义单元，为层次化策略学习提供结构化支撑，各类运动学参数的双模态记录为模仿学习与强化学习算法开发创造了优越条件。

使用方法

针对机器人操作算法的研发需求，该数据集支持端到端的训练流程。研究者可通过标准化的Parquet格式直接加载状态-动作序列，利用内置的时间戳与帧索引实现精确的时序对齐。多路视频流与运动参数的并行读取机制便于构建视觉-运动联合表征模型，而丰富的标注信息支持从基础行为克隆到复杂分层策略的多种学习范式。数据集完全兼容LeRobot生态工具链，提供开箱即用的数据加载接口，用户可基于官方提供的训练划分快速开展模型训练与验证工作。

背景与挑战

背景概述

在机器人操作研究领域，双手机器人协同作业已成为提升复杂任务执行能力的关键方向。AIRBOT_MMK2_storage_tissue_paper数据集由RoboCOIN团队于2025年11月发布，基于LeRobot框架构建，专注于家庭环境中纸巾包抓取与放置的双臂操作任务。该数据集通过AIRBOT_MMK2机器人平台采集，配备五指灵巧手末端执行器，涵盖50个完整操作序列与6980帧多视角视频数据，为双臂协调控制与精细操作策略研究提供了高精度动作轨迹与丰富标注支持。

当前挑战

双手机器人操作需解决动态环境下的抓取稳定性与路径规划问题，尤其针对柔软易变形的纸巾包，需克服抓取力控制与避障协同的难点。数据集构建过程中面临多传感器时序同步、双臂运动学标定一致性等挑战，同时高维度动作空间与多模态数据融合对标注精度提出了严格要求，末端执行器的六维姿态估计与抓取状态标注需保持跨视角一致性。

常用场景

经典使用场景

在机器人操作学习领域，该数据集主要应用于双手机器人抓取与放置任务的算法训练。通过记录AIRBOT_MMK2机器人在家庭环境中执行纸巾收纳任务的完整流程，为模仿学习与强化学习提供多视角视觉观测与精细动作标注。其包含的6980帧数据覆盖了抓取、拾取、放置等基础操作序列，特别适合研究双手协调操作中的动作分割与状态转移规律。

解决学术问题

该数据集有效解决了机器人操作学习中动作表示与任务分解的核心难题。通过提供多模态的末端执行器位姿、速度、加速度等运动特征，以及细粒度的子任务标注，为研究双手操作的运动规划、动作语义理解提供了数据支撑。其丰富的仿真空间姿态数据有助于探索现实差距弥合方法，推动机器人操作从单一技能向复杂任务序列的演进。

衍生相关工作

该数据集催生了多项双手操作领域的创新研究。基于其多模态标注体系，研究者开发了分层强化学习框架用于长时序任务分解，并衍生出基于视觉语言模型的动作语义理解方法。在RoboCOIN项目推动下，相关成果进一步扩展至跨场景操作知识迁移、仿真到实物的域适应等方向，形成了完整的机器人操作学习技术生态。