AIRBOT_MMK2_storage_tissue_and_milk_carton

AIRBOT_MMK2_storage_tissue_and_milk_carton数据集是基于LeRobot扩展格式构建的，完全兼容LeRobot。该数据集使用了AIRBOT_MMK2机器人，代码库版本为v2.1，末端执行器类型为五指手。数据集覆盖的场景类型为家庭场景，包括抓取、拾取和放置等原子动作。数据集包含丰富的注释，包括子任务分割、场景描述、末端执行器方向、速度和加速度分类、抓手模式和控制活动状态等。数据集按照LeRobot格式组织，包括视频、状态数据、动作数据、元数据等。数据集划分为训练集和测试集，其中训练集包含0到46个剧集。

原始信息汇总

AIRBOT_MMK2_storage_tissue_and_milk_carton 数据集概述

基本信息

• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 数据集规模: 1K-10K
• 标签: RoboCOIN、LeRobot

机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

场景与动作

• 场景类型: 家庭环境
• 原子动作: 抓取、拾取、放置

数据集统计

指标	数值
总情节数	47
总帧数	9751
总任务数	1
总视频数	188
总分块数	1
分块大小	1000
帧率	30 FPS

任务描述

主要任务

用一只手将纸巾放在白色盖子上，用另一只手将带吸管的牛奶盒放在白色盖子上。

子任务

1. 异常状态
2. 结束状态
3. 用右手抓取牛奶
4. 用左手抓取纸巾
5. 空状态
6. 用右手将牛奶放在白色篮子上
7. 用左手将纸巾放在白色篮子上
8. 静态状态

数据特征

视觉观察

• 4个相机视角：高位RGB、左手腕RGB、右手腕RGB、第三视角
• 分辨率：480×640×3
• 编码格式：AV1
• 帧率：30 FPS

状态与动作

• 状态观察: 36维浮点数（双臂各6关节+双手各12关节）
• 动作数据: 36维浮点数（双臂各6关节+双手各12关节）

时间信息

• 时间戳、帧索引、情节索引、任务索引

丰富标注

• 子任务标注: 细粒度子任务分割和标注
• 场景标注: 语义场景分类和描述
• 末端执行器标注: 方向、速度、加速度分类
• 夹爪标注: 开闭状态、活动状态
• 末端执行器仿真位姿: 6D位姿信息（状态和动作）
• 夹爪开度尺度: 连续夹爪开度测量

数据组织

文件结构

• 数据文件: Parquet格式，按分块组织
• 视频文件: MP4格式，按相机视角组织
• 元数据: JSON格式的元信息文件

数据划分

• 训练集: 情节0-46

作者与链接

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

技术兼容性

• 基于LeRobot格式扩展并完全兼容

引用信息

如需在研究中使用本数据集，请引用提供的arXiv论文。

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，AIRBOT_MMK2_storage_tissue_and_milk_carton数据集采用基于LeRobot框架的扩展格式构建，通过AIRBOT_MMK2双手机器人系统在家庭场景中执行组织纸与牛奶盒的协同放置任务。数据采集过程包含47个完整操作片段，总计9751帧视觉与运动数据，以30帧率的多视角视频流同步记录机器人关节状态、末端执行器位姿及动作指令。数据以分块形式组织，每个数据块包含1000个操作片段，采用Parquet格式存储以确保高效读取与处理。

特点

该数据集显著特点在于其多模态数据融合与精细动作标注体系，涵盖四路高清摄像头视角（高位、左右腕部及第三视角）的视觉观测，配合36维关节状态与动作向量。数据集提供丰富的语义标注层，包括子任务分割、场景分类以及末端执行器的运动方向、速度、加速度等多维度运动特征。特别值得关注的是其包含双手协同操作的六维位姿信息与抓取器状态参数，为研究双臂协调控制与精细操作策略提供了详实的实验数据基础。

使用方法

研究人员可通过LeRobot兼容接口直接加载该数据集，利用其标准化的数据路径模式访问视频流与状态数据。训练集涵盖0至46号操作片段，支持从原始传感器数据到高级行为策略的多层次研究任务。典型应用包括基于视觉的模仿学习、双臂运动规划算法验证、以及精细操作任务的子动作分解研究。数据集的模块化结构允许研究者灵活提取特定视角的视觉信息或运动轨迹，同时其丰富的标注体系为监督学习与强化学习算法提供了可靠的训练基础。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同执行复杂任务一直是研究热点。AIRBOT_MMK2_storage_tissue_and_milk_carton数据集由RoboCOIN团队于2025年发布，聚焦于家庭环境中纸巾与牛奶盒的双臂协同放置任务。该数据集基于LeRobot框架构建，包含47个任务片段和9751帧多视角视频数据，通过精细的末端执行器运动标注和六维姿态信息，为双臂协调控制算法提供了重要研究基础。其核心价值在于解决了传统单臂操作难以应对的多物体协同搬运问题，推动了机器人精细操作能力的发展。

当前挑战

该数据集致力于解决双臂机器人对非刚性物体的协同操作难题，具体挑战包括双手动作时序协调、多物体空间定位精度控制，以及末端执行器对易变形物体的稳定抓取。在构建过程中面临多传感器数据同步校准的复杂性，四路高清视频流与36维关节状态数据的实时对齐需要精密的时间戳管理。此外，五指灵巧手在抓取不同材质物体时产生的动力学差异，要求动作标注系统能准确区分抓取力度与接触状态的变化规律。

常用场景

经典使用场景

在机器人操作学习领域，该数据集聚焦于家庭环境下的双手协调操作任务，通过记录AIRBOT_MMK2双臂机器人执行纸巾与牛奶盒的抓取放置过程，为模仿学习与强化学习算法提供了标准化的训练范例。其多视角视觉数据与精细的动作标注体系，使得研究者能够深入分析双手协同操作的时序特征与空间约束关系，为复杂操作任务的策略学习建立了可靠基准。

衍生相关工作

基于该数据集衍生的研究工作主要围绕RoboCOIN项目生态展开，其中双手动作模仿学习框架与多任务操作策略迁移成为典型研究方向。相关成果通过融合LeRobot平台的标准化数据接口，发展了基于时空注意力的操作序列生成模型，并催生了面向复杂家居场景的层级强化学习新方法，持续推动着机器人操作社区的算法创新与基准迭代。

数据集最近研究

最新研究方向

在家庭服务机器人领域，双手协同操作技术正成为前沿研究热点。AIRBOT_MMK2_storage_tissue_and_milk_carton数据集凭借其多视角视频流与精细动作标注，为双手机器人操作策略研究提供了重要支撑。当前研究聚焦于基于多模态感知的抓取姿态生成、动态场景下的物体避障轨迹规划，以及端到端模仿学习框架的优化。该数据集通过包含末端执行器运动学参数与抓取器状态时序数据，显著推进了家庭环境中非结构化物体操作的泛化能力研究，相关成果已应用于提升服务机器人对日常物品的操作精度与任务完成效率。