AIRBOT_MMK2_lemon_and_orange_storage

AIRBOT_MMK2_lemon_and_orange_storage是一个基于LeRobot扩展格式的数据集，完全兼容LeRobot。该数据集使用AIRBOT_MMK2机器人，代码库版本为v2.1，末端执行器类型为五指手。数据集覆盖家庭场景类型，包括抓取、拾取和放置等基本动作。数据集包含29个场景、8975帧、1个任务、116个视频和1个数据块，每个数据块大小为1000。数据集还包括丰富的注释，支持多种学习方式。数据集遵循LeRobot格式，包含视频、状态数据和动作数据等文件。数据集的目录结构清晰，便于使用。

原始信息汇总

AIRBOT_MMK2_lemon_and_orange_storage 数据集概述

数据集基本信息

• 许可证: apache-2.0
• 语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 规模类别: 1K-10K

技术规格

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

场景与动作

• 场景类型: 家庭环境
• 原子动作: 抓取、拾取、放置

数据集统计

指标	数值
总情节数	29
总帧数	8975
总任务数	1
总视频数	116
总块数	1
块大小	1000
帧率	30

任务描述

主要任务

使用不同的手将柠檬放入一个隔间，将橙子放入另一个隔间

子任务

1. 异常
2. 结束
3. 用左手抓取柠檬
4. 用右手抓取橙子
5. 空
6. 用左手将柠檬放入储物箱左侧隔间
7. 用右手将橙子放入储物箱右侧隔间
8. 静态

数据特征

视觉观测

• 4个相机视角：高位RGB、左手腕RGB、右手腕RGB、第三视角
• 分辨率：480×640×3
• 帧率：30 FPS
• 编码：av1

状态与动作

• 观测状态：36维浮点数（包含左右臂和手部关节角度）
• 动作数据：36维浮点数（关节控制命令）

注释信息

• 子任务注释：细粒度子任务分割和标注
• 场景注释：语义场景分类和描述
• 末端执行器注释：方向、速度、加速度分类
• 夹爪注释：模式（开/关）、活动状态（活动/非活动）

运动特征

• 末端执行器仿真位姿（状态和动作）
• 末端执行器方向分类
• 末端执行器速度分类
• 末端执行器加速度分类

数据组织

文件结构

• 数据文件: Parquet格式，按块组织
• 视频文件: MP4格式，按相机视角组织
• 元数据: JSON格式，包含数据集完整信息

数据分割

• 训练集: 情节0-28

作者与链接

贡献者

• RoboCOIN团队

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据集构建领域，AIRBOT_MMK2_lemon_and_orange_storage采用基于LeRobot框架的扩展格式进行系统化构建。该数据集通过AIRBOT_MMK2双手机器人平台，在家庭场景下采集了29个完整操作片段，共计8975帧视觉数据。数据以分块形式组织为1000帧的标准化单元，通过四路高清摄像头以30帧率同步记录机械臂抓取、拾取、放置等原子动作，并采用Parquet列式存储格式保障数据读取效率。

特点

该数据集的核心特征体现在多模态数据融合与精细化标注体系。四路异构视角的视觉数据涵盖全局俯瞰、左右腕部及第三视角，配合36维关节状态与动作向量构成完整感知控制闭环。特别值得关注的是其丰富的运动学标注体系，包含末端执行器6D位姿、运动方向、速度加速度分级等多维特征，同时提供抓取器开合状态与活动模式的语义标注。这种多层次标注结构为机器人双手协调操作研究提供了细粒度的监督信号。

使用方法

基于LeRobot生态的数据集使用遵循标准化流程，研究者可通过加载Parquet数据文件直接获取时空对齐的多模态序列。训练集包含0-28共29个操作片段，每个片段均配备完整的视觉流、状态序列与动作轨迹。实际应用中可分别调用观测图像、机器人状态、动作指令及各类标注字段，其中末端执行器位姿数据支持仿真环境中的运动学建模，而细分任务标注则便于进行操作技能的分段学习与评估。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同作业的研究日益受到关注。AIRBOT_MMK2_lemon_and_orange_storage数据集由RoboCOIN团队于2025年11月发布，基于LeRobot框架构建，专注于家庭环境中的双手机器人精细操作任务。该数据集采用AIRBOT_MMK2机器人平台，配备五指灵巧手末端执行器，核心研究问题在于解决双手机器人对柑橘类水果的分类存储任务，通过29个任务片段和8975帧多视角视频数据，为机器人双手协调控制算法开发提供了重要支撑。

当前挑战

该数据集致力于解决双手机器人精细操作中的协同控制难题，包括双手动作时序同步、物体抓取稳定性保持以及避碰策略优化等关键问题。在构建过程中面临多重挑战：多视角视频数据同步采集需要精确的时间戳对齐，36维关节状态与动作空间的标注需保证物理一致性，五指灵巧手的抓取力度控制数据采集易受环境干扰，以及双机械臂运动轨迹在有限空间内的避碰约束难以完全规避。

常用场景

衍生相关工作

围绕该数据集已衍生出多项重要的研究工作，特别是在RoboCOIN项目框架内。这些工作深入探索了基于示范学习的操作策略生成、多模态感知与运动控制的融合方法。数据集与LeRobot生态系统的深度集成，促进了开源机器人学习社区的发展，为后续研究双臂操作、灵巧手控制等前沿课题提供了坚实的数据基础和技术参考。

数据集最近研究

最新研究方向

在机器人灵巧操作领域，该数据集聚焦于双手机器人协同任务的前沿探索。通过多视角视觉数据和精细的末端执行器运动标注，研究者正致力于开发能够理解复杂物体交互的感知控制模型。结合仿真姿态与真实世界数据融合的技术路径，该数据集为跨模态模仿学习提供了重要支撑，推动家庭环境下自主分拣系统的智能化进程。