AIRBOT_MMK2_potato_storage

AIRBOT_MMK2_potato_storage是一个基于LeRobot格式的机器人数据集，它涵盖了家庭和餐厅两种场景类型，并包含了抓取、拾取和放置等基本动作。数据集使用了AIRBOT_MMK2机器人，代码库版本为v2.1，末端执行器类型为五指手。数据集共有50个场景，6958帧，2个任务，200个视频和1个数据块，每个数据块大小为1000。数据集还包含了丰富的注释，包括子任务分割、场景描述、末端执行器方向、速度和加速度等。数据集被分为训练集和测试集，其中训练集包含前49个场景。数据集的文件组织遵循LeRobot格式，包含视频、状态数据、动作数据和元数据等。

原始信息汇总

AIRBOT_MMK2_potato_storage 数据集概述

📋 基本信息

• 数据集名称: AIRBOT_MMK2_potato_storage
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 标签: RoboCOIN, LeRobot
• 规模类别: 1K-10K

🤖 机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

🏠 场景类型

• 家庭环境
• 餐厅环境

⚡ 原子动作

• 抓取
• 拾取
• 放置

📊 数据集统计

指标	数值
总情节数	50
总帧数	6958
总任务数	2
总视频数	200
总分块数	1
分块大小	1000
帧率	30

🎯 任务描述

主要任务

• 使用同侧的手将土豆放入同侧的隔间中
• 使用同侧的手将多个土豆放入同侧的隔间中

子任务

1. 异常
2. 结束
3. 使用左手抓取器抓取土豆
4. 使用右手抓取器抓取土豆
5. 空
6. 使用左手抓取器将土豆放入储物箱左侧隔间
7. 使用右手抓取器将土豆放入储物箱右侧隔间

🎥 视觉数据

相机视角

• 高视角RGB相机
• 左手腕RGB相机
• 右手腕RGB相机
• 第三视角相机

视频规格

• 分辨率: 480×640
• 帧率: 30 FPS
• 编码格式: AV1

🏷️ 可用标注

子任务标注

• 细粒度子任务分割和标签

场景标注

• 语义场景分类和描述

末端执行器标注

• 运动方向分类
• 速度大小分类
• 加速度大小分类

抓取器标注

• 开/关状态标注
• 活动状态分类

附加特征

• 末端执行器仿真姿态（6D姿态信息）
• 抓取器开合尺度

📂 数据结构

数据文件

• 视频文件：压缩视频文件包含RGB相机观测
• 状态数据：机器人关节位置、速度等状态信息
• 动作数据：机器人动作命令和轨迹
• 元数据：情节元数据、时间戳和标注

文件组织

• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

📊 特征架构

视觉观测

• observation.images.cam_high_rgb: 视频
• observation.images.cam_left_wrist_rgb: 视频
• observation.images.cam_right_wrist_rgb: 视频
• observation.images.cam_third_view: 视频

状态和动作

• observation.state: float32
• action: float32

时间信息

• timestamp: float32
• frame_index: int64
• episode_index: int64
• index: int64
• task_index: int64

运动特征

• 末端执行器仿真姿态（状态和动作）
• 末端执行器方向（状态和动作）
• 末端执行器速度（状态和动作）
• 末端执行器加速度大小（状态和动作）

📁 数据划分

• 训练集: 情节0-49

👥 贡献者

• RoboCOIN团队

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 项目页面: https://flagopen.github.io/RoboCOIN/
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📄 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，该数据集采用AIRBOT_MMK2双臂机器人配合五指灵巧手执行马铃薯存储任务，通过50个完整操作片段记录了6958帧数据。数据采集过程涵盖家庭与餐厅两种典型场景，采用四路摄像头同步记录，包括高位视角、左右腕部视角及第三方视角，以30帧率捕捉精细操作细节。数据组织遵循LeRobot扩展格式，按1000帧为单位分块存储于parquet文件中，确保数据结构的高效访问与兼容性。

使用方法

研究人员可通过LeRobot框架直接加载该数据集进行机器人操作策略的训练与验证。数据按训练集划分，涵盖0至49号操作片段，支持端到端的策略学习与行为克隆。利用提供的多视角视频流与丰富的状态动作对，可开发视觉-运动协同的控制模型。末端执行器的详细运动学标注特别适合研究精细操作任务的运动规划算法，而场景与子任务标注则为分层强化学习提供了天然的任务分解结构。

背景与挑战

背景概述

在机器人操作研究领域，双手机器人协同作业已成为提升复杂任务执行能力的关键方向。AIRBOT_MMK2_potato_storage数据集由RoboCOIN团队于2025年构建，依托LeRobot框架实现数据标准化。该数据集聚焦于双手机器人在家庭与餐厅场景下的马铃薯存储任务，通过50个任务片段和6958帧多视角视频数据，系统记录了抓取、拾取、放置等原子动作的完整执行过程。其核心研究目标在于解决双手机器人协同操作中的动作规划与场景适应性难题，为机器人精细操作算法的开发提供了重要实验基础。

当前挑战

该数据集致力于攻克双手机器人协同操作中动作同步与物体定位的经典难题，尤其在非结构化环境下对马铃薯类不规则物体的稳定抓取存在显著挑战。构建过程中需克服多传感器数据融合的技术瓶颈，包括四路摄像头视角的时空对齐、末端执行器六维位姿的精确标注，以及36维关节状态与动作数据的同步采集。此外，场景语义标注的粒度控制与动态动作片段的边界划分，对数据质量提出了极高要求。

常用场景

经典使用场景

在机器人操作学习领域，AIRBOT_MMK2_potato_storage数据集通过双手机器人执行马铃薯存储任务，为模仿学习与强化学习算法提供了标准化的测试平台。该数据集以多视角视觉观测与精细动作标注为特色，完整记录了抓取、拾取、放置等基础操作序列，特别适用于研究双臂协调控制与复杂场景下的物体操纵策略。其兼容LeRobot框架的特性使得研究者能够快速构建端到端的机器人技能学习管道，推动操作技能泛化能力的发展。

解决学术问题

该数据集有效解决了机器人操作学习中三大核心难题：跨场景技能迁移问题通过家庭与餐厅双场景数据提供了环境适应性研究基础；精细操作建模问题借助五指灵巧手的多关节运动数据推进了复杂抓取策略的解析；长期任务规划问题则通过子任务标注体系为分层强化学习提供了结构化监督信号。这些特性显著降低了真实世界机器人技能学习的试错成本，为具身智能的感知-动作闭环研究奠定了数据基石。

实际应用

在智慧仓储与家庭服务机器人领域，该数据集支撑了多项实际应用突破。基于马铃薯存储任务开发的抓取规划算法已应用于农产品分拣系统，其多指灵巧操作数据为物流行业的包裹抓取提供了技术参照。餐厅场景下的双臂协调数据则启发了餐饮服务机器人的餐盘摆放系统开发，通过模拟真实环境中的空间约束与物体特性，显著提升了服务机器人在非结构化环境中的操作可靠性。

数据集最近研究

最新研究方向

在机器人操作学习领域，AIRBOT_MMK2_potato_storage数据集正推动双手机器人精细操作研究的前沿发展。该数据集通过多视角视觉观测与精细动作标注，为模仿学习与强化学习算法提供了丰富训练素材。当前研究聚焦于跨场景泛化能力探索，利用家庭与餐厅场景数据训练模型适应多样化环境。基于LeRobot框架的兼容性使该数据集成为开源机器人社区重要资源，其末端执行器运动轨迹与抓取状态标注为动态操作策略优化提供关键数据支撑。随着RoboCOIN项目持续扩展，该数据集正成为研究双手协调操作与物体定位任务的重要基准，推动机器人从单一技能向复杂任务执行能力演进。