AIRBOT_MMK2_storage_box_for_mouse_and_sponge

这是一个基于LeRobot扩展格式的机器人数据集，完全兼容LeRobot。该数据集专注于与“家庭”场景相关的任务，特别是使用一只手将鼠标盒和海绵放置在圆形托盘上。数据集包括各种原子动作，如抓取、拾取和放置。它提供了丰富的注释，包括子任务分割、场景描述、末端执行器和抓手特征以及运动特征。数据集分为训练和测试两部分，共有49个剧集、9471帧和196个视频。它是在Apache-2.0许可证下发布的。

原始信息汇总

AIRBOT_MMK2_storage_box_for_mouse_and_sponge 数据集概述

📋 基本信息

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手
• 数据格式: 基于LeRobot的扩展格式，完全兼容LeRobot
• 许可证: Apache-2.0
• 语言: 英语、中文

🏠 场景类型

• 家庭环境

🤖 原子动作

• 抓取
• 拾取
• 放置

📊 数据集统计

指标	数值
总片段数	49
总帧数	9471
总任务数	1
总视频数	196
总分块数	1
分块大小	1000
帧率	30 FPS

🎯 任务描述

主要任务

使用单手将鼠标盒和海绵放置在圆盘中

子任务

1. 异常
2. 结束
3. 用左手抓取器抓取盒子
4. 用右手抓取器抓取海绵
5. 空
6. 用左手抓取器将盒子放在白色盘子上
7. 用右手抓取器将海绵放在白色盘子上
8. 静态

🎥 相机视图

• 包含4个相机视角

🏷️ 可用标注

子任务标注

• 细粒度子任务分割和标注

场景标注

• 场景级描述和语义场景分类

末端执行器标注

• 运动方向分类
• 速度大小分类
• 加速度大小分类

抓取器标注

• 开/关状态标注
• 活动状态分类

附加特征

• 末端执行器仿真姿态（6D姿态信息）
• 抓取器开度尺度

📂 数据划分

• 训练: 片段0-48

📁 数据集结构

文件组织

• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征架构

视觉观测

• observation.images.cam_high_rgb: 视频，480×640×3，30 FPS，AV1编码
• observation.images.cam_left_wrist_rgb: 视频，480×640×3，30 FPS，AV1编码
• observation.images.cam_right_wrist_rgb: 视频，480×640×3，30 FPS，AV1编码
• observation.images.cam_third_view: 视频，480×640×3，30 FPS，AV1编码

状态和动作

• observation.state: float32，36维
• action: float32，36维

时间信息

• timestamp: float32
• frame_index: int64
• episode_index: int64
• index: int64
• task_index: int64

标注信息

• subtask_annotation: int32
• scene_annotation: int32

👥 作者

• RoboCOIN团队

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📚 引用

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，该数据集采用AIRBOT_MMK2双手机器人平台，通过五指灵巧手执行家居环境中的物体放置任务。数据构建过程基于LeRobot扩展格式，涵盖49个完整操作序列，总计9471帧图像数据。通过四路视角同步采集系统记录操作过程，包含高位视角、左右腕部视角及第三方视角，以30帧率保存为AV1编码视频流。数据以分块形式组织为Parquet格式，每个数据块容纳1000个操作片段，确保高效存储与读取。

特点

该数据集的核心价值在于其多维度的标注体系，不仅包含基础的视觉观测与动作轨迹，还提供精细化的子任务分割标注。运动特征方面涵盖末端执行器的六维位姿、速度方向及加速度幅值等物理量，同时记录抓取器开合状态与活动模式。36维关节空间状态与动作向量完整呈现双手机器人的协同操作特性，场景标注将操作环境限定于家居领域，为模仿学习与策略泛化研究提供结构化基础。

使用方法

研究者可通过LeRobot兼容接口直接加载数据集，利用标准化的数据路径模式访问视频流与状态信息。训练阶段建议采用时序建模方法处理连续帧序列，动作预测任务可结合末端执行器位姿与关节角度联合优化。多视角视觉输入支持跨模态表征学习，丰富的运动标注适用于动力学分析与控制策略验证。数据划分明确将0-48号片段作为训练集，支持端到端机器人操作技能的迁移与泛化研究。

背景与挑战

背景概述

在机器人操作领域，双手机器人系统的精细化控制一直是研究热点。AIRBOT_MMK2_storage_box_for_mouse_and_sponge数据集由RoboCOIN团队于2025年发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于家庭环境中的物品整理任务。其核心研究问题在于探索双手机器人如何通过抓取、拾取和放置等原子动作，协同完成鼠标盒与海绵的精准定位操作。该数据集基于LeRobot框架构建，包含49个任务片段和9471帧多视角视频数据，为机器人模仿学习与行为规划研究提供了丰富的实验基础。

当前挑战

该数据集致力于解决双手机器人协同操作中的动作同步与物体定位难题。具体挑战包括：在领域层面，需要克服多指机械手对异形物体的稳定抓取、双手动作的时序协调，以及受限空间下的避障规划；在构建过程中，面临多摄像头数据同步校准、高维度动作状态标注的复杂性，以及仿真环境与真实物理交互的数据一致性验证。此外，细粒度的子任务分割与末端执行器运动参数标注，对数据采集系统的精度与稳定性提出了严格要求。

常用场景

经典使用场景

在机器人操作学习领域，该数据集聚焦于家庭环境下的双手协调操作任务，通过记录AIRBOT_MMK2机器人执行抓取、拾取与放置等基础动作的完整流程，为机器人精细操作研究提供了标准化实验平台。其多视角视觉数据与丰富的运动标注信息，特别适用于开发双手协同操作的模仿学习算法，推动机器人从单臂操作向复杂双手协作的技术演进。

实际应用

在智能家居服务机器人领域，该数据集支撑了物品整理与收纳系统的开发，通过模拟真实家庭环境中鼠标盒与海绵的放置任务，为服务型机器人提供了可迁移的操作技能。基于该数据集训练的模型已应用于老年陪护机器人等实际场景，实现了对日常物品的自主识别与精准操作，显著提升了服务机器人在非结构化环境中的适应能力。

衍生相关工作

基于该数据集衍生的研究工作主要集中于多模态模仿学习框架的构建，研究者利用其丰富的视觉-动作对应关系开发了分层强化学习算法。相关成果已延伸至RoboCOIN项目中的跨任务技能迁移研究，并通过LeRobot生态系统的兼容性，促进了不同机器人平台间操作知识的标准化传递与复用。