AIRBOT_MMK2_storage_spoon

AIRBOT_MMK2_storage_spoon数据集是一个基于LeRobot的扩展格式数据集，完全兼容LeRobot。该数据集使用了AIRBOT_MMK2机器人，代码库版本为v2.1，末端执行器类型为五指手。数据集涵盖了家庭场景类型，包括抓取、放置和捡起等原子动作。数据集包含了丰富的注释，包括子任务分割、场景描述、末端执行器方向、速度、加速度、夹持器模式和活动状态等。数据集分为训练集和测试集，并且按照LeRobot格式组织数据文件。数据集还包含了视频、状态数据和动作数据等。数据集的完整元数据可以在meta/info.json文件中找到。数据集遵循Apache-2.0许可证发布。

The AIRBOT_MMK2_storage_spoon dataset is an extended-format dataset based on LeRobot, and is fully compatible with LeRobot. This dataset utilizes the AIRBOT_MMK2 robot with a codebase version of v2.1 and a five-fingered hand as the end-effector type. It covers household scenarios, including atomic actions such as grasping, placing, and picking up. The dataset includes rich annotations covering sub-task segmentation, scene description, end-effector orientation, velocity, acceleration, gripper mode, and active status, among others. It is split into training and test sets, with all data files organized in the LeRobot format. Furthermore, the dataset contains videos, state data, action data, and other related content. The complete metadata of the dataset can be found in the meta/info.json file. The dataset is released under the Apache-2.0 license.

原始信息汇总

AIRBOT_MMK2_storage_spoon 数据集概述

基本信息

• 数据集名称: AIRBOT_MMK2_storage_spoon
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 规模分类: 10K-100K
• 格式兼容性: 基于LeRobot扩展格式，完全兼容LeRobot

机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

场景与动作

场景类型

• 家庭环境

原子动作

• 抓取
• 放置
• 拾取

数据集统计

指标	数值
总情节数	49
总帧数	12204
总任务数	1
总视频数	196
总分块数	1
分块大小	1000
帧率	30

任务描述

主要任务

用一只手拿起勺子放入盆中，然后用另一只手拿起另一个勺子放入盆中

子任务

1. 结束
2. 用左手抓取勺子
3. 用右手抓取勺子
4. 空
5. 用左手将勺子放入盆中
6. 用右手将勺子放入盆中
7. 静态

数据特征

视觉观察

• 4个相机视角：
  • 高位RGB相机
  • 左手腕RGB相机
  • 右手腕RGB相机
  • 第三视角相机
• 视频规格：480×640分辨率，30FPS，AV1编码

状态与动作

• 观察状态：36维浮点数（关节位置）
• 动作：36维浮点数（关节控制）

注释信息

• 子任务注释：细粒度任务分割和标注
• 场景注释：语义场景分类和描述
• 末端执行器注释：方向、速度、加速度分类
• 夹爪注释：模式（开/关）、活动状态

运动特征

• 末端执行器仿真姿态（状态和动作）
• 末端执行器方向（状态和动作）
• 末端执行器速度（状态和动作）
• 末端执行器加速度幅度（状态和动作）

数据组织

文件结构

• 数据文件: Parquet格式，按分块组织
• 视频文件: MP4格式，按相机视角组织
• 元数据: JSON格式的配置和统计信息

数据分割

• 训练集: 情节0-48

作者与链接

贡献者

• RoboCOIN团队

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

版本信息

• 初始版本: v1.0.0 (2025年11月)

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，AIRBOT_MMK2_storage_spoon数据集通过双手机器人系统在家庭场景中执行餐具收纳任务构建而成。该数据集采用基于LeRobot框架的扩展格式，包含49个完整操作片段，总计12204帧视觉与运动数据。数据采集过程通过四路高清摄像头同步记录多视角视频，并以30帧率保存机器人关节状态、末端执行器位姿及操作动作序列。所有数据按1000帧为单元进行分块存储，采用Parquet格式保证高效读写与跨平台兼容性。

特点

该数据集的核心特征体现在多模态数据融合与精细化动作标注体系。视觉观测模块包含高角度、左右腕部及第三视角四路RGB视频流，运动数据则涵盖36维关节状态与动作空间。特别值得注意的是其丰富的语义标注层，包括子任务分割、场景分类以及末端执行器的运动方向、速度、加速度等多维度动力学特征。针对五指灵巧手的操作特性，数据集还提供了抓握器开合状态与活动模式的专项标注，为复杂操作策略学习提供立体化数据支撑。

使用方法

研究人员可通过LeRobot标准接口直接加载该数据集进行机器人操作算法开发。数据按训练集（0-48号片段）划分，支持从文件路径模式自动解析视频与状态数据。使用时应重点关注多视角视觉观测与关节动作的时序对齐，利用子任务标注实现分层强化学习。对于灵巧手操作研究，可结合末端执行器位姿模拟数据与抓握器开合尺度参数，构建精细的操作策略模型。数据集兼容主流的机器人学习框架，支持行为克隆、模仿学习等算法的端到端训练流程。

背景与挑战

背景概述

机器人操作领域正经历从单一任务执行向复杂双手协同的范式转变。AIRBOT_MMK2_storage_spoon数据集由RoboCOIN团队于2025年构建，聚焦于家庭环境中双手餐具收纳任务的精细操作研究。该数据集依托LeRobot框架扩展格式，通过AIRBOT_MMK2双手机器人搭载五指灵巧手的配置，系统采集了49个任务片段共12204帧多视角视觉数据，其核心在于探索双手物体转移过程中的运动规划与抓取策略优化问题，为具身智能研究提供了珍贵的真实场景操作范本。

当前挑战

双手协同操作需克服末端执行器轨迹耦合与动态避障的双重难题。该数据集构建过程中面临多模态数据同步采集的技术挑战，包括四路视觉传感器时序对齐、36维关节状态与动作空间的精确标定，以及灵巧手抓取力度与物体形变的动态适配问题。在数据处理层面，需解决高维动作空间下的子任务自动分割、多视角视频流压缩存储，以及仿真空间与物理世界位姿映射的精度保障等关键技术瓶颈。

常用场景

经典使用场景

在机器人操作学习领域，该数据集聚焦于双手机器人协调操作任务，通过模拟家庭环境中勺具抓取与放置的完整流程，为机器人精细操作策略的研发提供了标准化测试平台。其多视角视觉数据与丰富的运动标注信息，使得研究者能够深入分析双手协同抓握、物体转移等复杂动作的时序特征，为模仿学习与强化学习算法提供了高质量的示范数据。

实际应用

在家庭服务机器人领域，该数据集支撑的算法可直接应用于餐具整理、物品收纳等日常任务。其包含的抓取力度控制、避障轨迹规划等关键技术，为开发具备精细操作能力的家用机器人提供了核心训练数据，同时通过标准化接口设计实现了与现有机器人系统的快速集成，加速了实验室研究成果向实际应用的转化进程。

衍生相关工作

基于该数据集衍生的研究已催生多项创新成果，包括结合图神经网络的双手协同控制框架、基于注意力机制的任务分段识别模型等。这些工作通过挖掘数据集中隐含的动作语义关联，发展了新型的机器人技能表示方法，并与LeRobot生态系统的其他组件共同构建了完整的机器人学习技术栈，持续推动着开源机器人社区的技术演进。