AIRBOT_MMK2_pumpkin_storage

AIRBOT_MMK2_pumpkin_storage 数据集是基于 LeRobot 格式的一个机器人数据集，用于机器人操作学习。数据集包括以下信息：
- 机器人类型：AIRBOT_MMK2
- 代码库版本：v2.1
- 末端执行器类型：五指手
- 场景类型：家庭
- 原子动作：抓取、捡起、放置
- 数据集统计：总共 49 个剧集，12358 帧，1 个任务，196 个视频，1 个数据块，每个数据块大小为 1000 帧，帧率为 30 帧/秒
- 数据集结构：数据文件、视频文件、状态数据、动作数据、元数据
- 注释类型：子任务分割、场景描述、末端执行器方向、末端执行器速度、末端执行器加速度、夹持器模式、夹持器活动、末端执行器模拟姿态、夹持器开启尺度

原始信息汇总

AIRBOT_MMK2_pumpkin_storage 数据集概述

📋 基本信息

• 数据集名称: AIRBOT_MMK2_pumpkin_storage
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 规模类别: 10K-100K
• 格式兼容性: 基于LeRobot扩展格式，完全兼容LeRobot

🤖 机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

🏠 场景类型

• 家庭场景

⚡ 原子动作

• 抓取
• 拾取
• 放置

📊 数据集统计

指标	数值
总情节数	49
总帧数	12358
总任务数	1
总视频数	196
总块数	1
块大小	1000
帧率	30

🎯 任务描述

主要任务

用一只手将南瓜扔进指定隔间，同时保持另一只手静止

子任务

1. 结束
2. 用右夹爪抓取南瓜
3. 空
4. 将南瓜放入储物箱右隔间
5. 用右夹爪将南瓜放入储物箱右隔间
6. 静态

🎥 视觉数据

相机视角

• 4个相机视角
• 分辨率: 480×640
• 帧率: 30 FPS
• 编码: AV1

具体视角

• 高位RGB相机
• 左手腕RGB相机
• 右手腕RGB相机
• 第三视角相机

🏷️ 可用标注

子任务标注

• 细粒度子任务分割和标注

场景标注

• 场景级描述和语义分类

末端执行器标注

• 运动方向分类
• 速度幅度分类
• 加速度幅度分类

夹爪标注

• 开/关状态标注
• 活动状态分类

附加特征

• 末端执行器仿真位姿（6D）
• 夹爪开度尺度测量

📂 数据划分

• 训练集: 情节0-48

📁 数据结构

文件组织

• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征架构

视觉观测

• 4个RGB视频流

状态和动作

• 观测状态: 36维浮点数（关节位置）
• 动作: 36维浮点数（关节控制）

运动特征

• 末端执行器仿真位姿（状态和动作）
• 末端执行器方向、速度、加速度

👥 作者信息

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN

📄 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu et al.}, journal={arXiv preprint arXiv:2511.17441}, url={https://arxiv.org/abs/2511.17441}, year={2025} }

📌 版本历史

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，AIRBOT_MMK2_pumpkin_storage数据集采用基于LeRobot框架的扩展格式构建，通过AIRBOT_MMK2双手机器人执行南瓜存储任务。数据采集过程包含49个完整操作片段，总计12358帧视觉与运动数据，以30帧率记录四路相机视角。数据以分块形式组织，每个数据块包含1000个操作片段，采用Parquet格式存储多维时序数据，确保高效读取与处理。

使用方法

基于LeRobot兼容架构，研究者可通过标准数据加载接口直接访问多模态流。训练集涵盖0至48号操作片段，支持端到端模仿学习与分层策略建模。数据使用需遵循Apache-2.0许可，建议通过官方GitHub仓库获取最新工具链。典型应用场景包括双臂动作生成、精细操作策略优化及跨模态表征学习，相关实现可参考项目论文中的基准方法。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同控制一直是研究热点，AIRBOT_MMK2_pumpkin_storage数据集应运而生。该数据集由RoboCOIN团队于2025年构建，基于LeRobot框架扩展格式，专门针对家庭环境中的物体存储任务设计。核心研究问题聚焦于双手机器人在复杂操作场景下的抓取、拾取与放置等原子动作的协同执行，通过49个任务片段和12358帧多视角视频数据，为机器人模仿学习与精细操作控制提供了重要支撑。该数据集通过丰富的末端执行器姿态标注与运动特征分析，显著推动了双臂协同操作算法的实证研究进展。

当前挑战

该数据集致力于解决双手机器人精细操作中的动作协调与目标定位难题，具体体现在南瓜抓取过程中需克服物体形变适应与精准投掷轨迹规划的双重挑战。构建过程中面临多模态数据同步的技术瓶颈，四路摄像头视角与36维关节状态数据的实时对齐对采集系统提出极高要求。末端执行器六维姿态标注的精度保障需要解决传感器噪声与坐标系转换的累积误差，而五指灵巧手的抓取模式标注还需应对不同材质接触面的动力学特性变异问题。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过双手机械臂协同执行南瓜存储任务，为模仿学习与强化学习算法提供了标准化的测试平台。其多视角视频流与精细的动作标注能够有效支撑抓取、拾取、放置等基础操作的轨迹生成研究，特别是在家庭场景下的物体操控任务中展现出典型价值。

解决学术问题

该数据集通过提供精确的末端执行器位姿、速度与加速度标注，解决了双手机器人运动规划中的动态协调难题。其丰富的子任务分割数据为分层强化学习框架提供了结构化支撑，显著推进了复杂操作任务的分解与组合研究，对机器人认知决策系统的构建具有重要理论意义。

实际应用

在家庭服务机器人领域，该数据集支撑的算法可应用于物品整理、仓储管理等实际场景。通过模拟真实家居环境中的物体搬运流程，其技术成果能够转化为智能家居系统的核心组件，为老年照护、智能仓储等垂直领域提供可靠的自动化解决方案。

数据集最近研究

最新研究方向

在机器人操作领域，AIRBOT_MMK2_pumpkin_storage数据集正推动双手机器人灵巧操作的前沿探索。该数据集通过多视角视觉观测与精细的末端执行器运动标注，为模仿学习与强化学习算法提供了丰富训练基础。当前研究聚焦于跨模态表征融合，将高维视觉输入与关节状态、抓取动作等物理信号相结合，以提升复杂家居场景下的任务泛化能力。随着RoboCOIN项目在开源机器人数据生态中的影响力扩大，该数据集已成为验证分层策略学习、多任务迁移等热点方向的关键基准，为具身智能在真实环境中的自适应操作奠定数据基石。