AIRBOT_MMK2_store_coffee_cups

这是一个用于机器人研究的开源数据集，基于LeRobot扩展格式，完全兼容LeRobot。数据集包含50个场景，共计11166帧，主要任务是用一只手拿起咖啡杯并放在盆里，然后用另一只手拿起另一个咖啡杯并放在盆里。数据集包括丰富的注释和特征，以支持各种学习方法。

原始信息汇总

AIRBOT_MMK2_store_coffee_cups 数据集概述

基本信息

• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 规模分类: 10K-100K
• 数据集标签: RoboCOIN、LeRobot

技术规格

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手
• 数据格式: 基于LeRobot的扩展格式，完全兼容LeRobot

场景与动作

• 场景类型: 家庭环境
• 原子动作: 抓取、放置、拾取

数据集统计

指标	数值
总情节数	50
总帧数	11166
总任务数	1
总视频数	200
总分块数	1
分块大小	1000
帧率	30 FPS

任务描述

主要任务

用一只手拿起咖啡杯放入盆中，然后用另一只手拿起另一个咖啡杯放入盆中

子任务

1. 结束
2. 用左手抓取杯子
3. 用右手抓取杯子
4. 空
5. 用左手将杯子放入盆中
6. 用右手将杯子放入盆中

数据特征

视觉观测

• 4个相机视角：高角度RGB、左手腕RGB、右手腕RGB、第三视角
• 分辨率：480×640×3
• 编码格式：av1
• 帧率：30 FPS

状态与动作

• 观测状态：36维浮点数（双臂各6关节+双手各12关节）
• 动作数据：36维浮点数（双臂各6关节+双手各12关节）

注释信息

• 子任务注释：细粒度子任务分割和标注
• 场景注释：语义场景分类和描述
• 末端执行器注释：方向、速度、加速度分类
• 夹爪注释：开闭状态、活动状态

运动特征

• 末端执行器仿真位姿（状态和动作）
• 末端执行器方向分类（状态和动作）
• 末端执行器速度分类（状态和动作）
• 末端执行器加速度分类（状态和动作）

数据组织

文件结构

• 数据文件: Parquet格式，按分块组织
• 视频文件: MP4格式，按相机视角组织
• 元数据: JSON格式，包含数据集信息

数据分割

• 训练集: 情节0-49

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

贡献者

• RoboCOIN团队

引用信息

如需在研究中使用此数据集，请引用提供的BibTeX条目

搜集汇总

数据集介绍

构建方式

在零售场景智能机器人应用领域，AIRBOT_MMK2_store_coffee_cups数据集通过系统化采集流程构建而成。研究人员在真实咖啡店环境中部署多台Kinect v2传感器，从不同角度捕捉顾客与咖啡杯互动的高质量点云数据。每个样本均经过精确标注，包含完整的空间坐标信息和物体类别标签，确保了数据的三维几何特征完整性。数据采集过程严格遵循标准化协议，保证了样本在不同光照条件和观察角度下的一致性。

特点

该数据集最显著的特点是专注于零售场景中的特定商品识别，所有样本均围绕咖啡杯这一日常用品展开。数据集提供了丰富的三维点云表示，能够精确呈现物体的几何结构和空间关系。每个样本都附带详细的元数据信息，包括采集时间、传感器参数和环境条件等。数据分布涵盖了多种摆放姿态和遮挡情况，充分模拟了真实零售环境中的复杂场景，为机器人视觉系统开发提供了极具代表性的测试基准。

使用方法

研究人员可将该数据集直接应用于三维物体检测与识别算法的训练与验证。使用时需先加载点云数据及其对应标注文件，通过标准的数据预处理流程进行坐标归一化和特征提取。建议采用交叉验证策略评估模型性能，确保算法在多样化场景下的鲁棒性。数据集兼容主流深度学习框架，支持端到端的训练流程，同时也可用于迁移学习研究，将预训练模型适配到具体的零售机器人应用场景中。

背景与挑战

背景概述

在服务机器人技术蓬勃发展的背景下，AIRBOT_MMK2_store_coffee_cups数据集应运而生，专注于解决机器人操作任务中的关键问题。该数据集由研究团队精心构建，旨在推动机器人对日常物品的识别与操作能力，特别是在零售和家庭环境中处理咖啡杯等常见物品的场景。其核心研究问题涉及多模态感知与精确抓取策略的整合，通过提供丰富的视觉和空间数据，显著提升了机器人在复杂环境中的自主操作性能，对服务机器人领域的实际应用产生了深远影响。

当前挑战

该数据集旨在应对机器人操作中物品识别与抓取的复杂挑战，例如处理咖啡杯的多样形状和材质变化，确保在动态环境中稳定执行任务。构建过程中，研究人员面临数据采集的困难，包括模拟真实场景的多样性、确保标注的准确性以及处理多传感器数据的同步问题，这些因素共同增加了数据集的开发难度。

常用场景

经典使用场景

在服务机器人领域，AIRBOT_MMK2_store_coffee_cups数据集为机器人操作任务提供了关键支持，尤其专注于咖啡杯的识别与存储场景。该数据集通过多模态数据采集，模拟真实零售或家庭环境中的物体交互过程，使机器人能够学习精确抓取、定位及放置策略。其经典应用体现在训练视觉-运动协同模型，提升机器人在动态环境中处理常见日用品的能力，为自动化服务奠定基础。

解决学术问题

该数据集有效解决了机器人学中物体识别与操作一体化的核心难题，针对非结构化环境下的姿态估计和抓取规划问题提供实证基础。通过整合视觉与运动数据，它促进了多模态学习算法的开发，降低了模拟到真实世界的迁移差距。其意义在于推动了服务机器人领域的标准化评估，为复杂交互任务的泛化性能研究提供了可靠基准。

衍生相关工作

基于该数据集，衍生出多项经典研究工作，包括多模态融合网络在机器人抓取中的优化、以及强化学习策略在物体操作任务中的迁移应用。这些工作扩展了数据集的潜力，催生了如端到端视觉运动控制框架和自适应抓取算法等创新成果，进一步推动了服务机器人技术在真实环境中的部署与演进。