AIRBOT_MMK2_mobile_car

该数据集使用基于LeRobot的扩展格式，并完全兼容LeRobot。数据集包括丰富的注释，支持各种学习方法，例如子任务分割、场景描述、末端执行器运动和抓取器活动。数据集按不同的组件组织，包括视频、状态数据、动作数据和元数据，并按块进行组织以便于管理。README还提供了数据集目录结构、特征模式和许可信息。

原始信息汇总

AIRBOT_MMK2_mobile_car 数据集概述

基本信息

• 数据集名称: AIRBOT_MMK2_mobile_car
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN、LeRobot
• 规模: 1K-10K

技术规格

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手
• 帧率: 30 FPS

场景与动作

场景类型

• 家庭环境 (home)

原子动作

• 推 (push)

数据集统计

指标	数值
总片段数	50
总帧数	6897
总任务数	1
总视频数	200
总块数	1
块大小	1000

任务描述

主要任务

用一只手将黄色推车从身体前方推开

子任务

1. 异常 (Abnormal)
2. 结束 (End)
3. 空 (null)
4. 用左夹爪从左向右推玩具车
5. 静态 (Static)

数据特征

视觉观测

• 4个摄像头视角：
  • cam_high_rgb (视频，30 FPS，AV1编码)
  • cam_left_wrist_rgb (视频，30 FPS，AV1编码)
  • cam_right_wrist_rgb (视频，30 FPS，AV1编码)
  • cam_third_view (视频，30 FPS，AV1编码)
• 图像分辨率：480×640×3

状态与动作

• 观测状态: float32 (36维)
• 动作: float32 (36维)

时间信息

• 时间戳、帧索引、片段索引、任务索引

标注信息

子任务标注

• 细粒度子任务分割和标注

场景标注

• 语义场景分类和描述

末端执行器标注

• 运动方向分类
• 速度大小分类
• 加速度大小分类

夹爪标注

• 开/关状态标注
• 活动状态分类

附加特征

• 末端执行器仿真姿态 (6D姿态信息)
• 夹爪开度尺度 (连续测量)

数据组织

数据分割

• 训练集: 片段 0-49

文件结构

• 数据文件：Parquet格式
• 视频文件：MP4格式
• 组织模式：
  • 数据路径：data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
  • 视频路径：videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

作者信息

• 贡献者: RoboCOIN团队 (https://flagopen.github.io/RoboCOIN/)

版本历史

• v1.0.0 (2025-11): 初始发布

引用信息

如需在研究中引用此数据集，请使用提供的BibTeX条目。

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，AIRBOT_MMK2_mobile_car数据集通过AIRBOT_MMK2双手机器人平台系统构建，采用LeRobot扩展格式确保数据兼容性。数据采集涵盖50个完整操作片段，总计6897帧视觉与状态记录，以30帧率的多视角视频流同步记录机器人关节状态与动作指令。数据按片段分块存储于Parquet格式文件中，每个数据块包含1000个操作序列，并辅以精细的时序标注与运动特征提取，形成结构化机器人操作数据集。

特点

该数据集在机器人操作学习领域展现出多维特征优势，集成四路高清摄像头视角，包括高位全局视角、左右腕部视角及第三方观测视角。数据标注体系涵盖子任务分割、场景语义分类、末端执行器运动方向与速度分级等丰富维度，特别提供六维末端执行器仿真位姿信息与抓取器开合状态连续量化数据。36维关节状态与动作空间完整呈现双手机器人协同操作特性，为复杂操作策略学习提供全面感知基础。

使用方法

基于LeRobot框架的兼容性设计，研究者可通过标准数据加载接口直接访问该数据集。训练集包含0至49号完整操作片段，数据文件按chunk-000/episode_XXXXXX.parquet路径规范组织，配套视频文件分别存储于对应视角目录。使用时可同步调用多模态观测数据，包括视觉流、关节状态时序序列及分层标注信息，支持端到端模仿学习、强化学习等多种机器人技能获取范式，并通过元数据文件快速获取数据集统计特征与结构信息。

背景与挑战

背景概述

机器人操作领域正经历从单一任务执行向复杂环境交互的范式转变。AIRBOT_MMK2_mobile_car数据集由RoboCOIN团队于2025年构建，依托LeRobot框架实现了双手机器人操作数据的标准化记录。该数据集聚焦家庭场景中的推动作业任务，通过AIRBOT_MMK2机器人平台采集了包含6897帧的多视角视觉数据与36维关节状态信息，为研究双手协调操作与精细物体操控提供了重要实验基础。其采用的Apache 2.0开源协议与模块化数据结构，显著促进了机器人学习算法的可复现性研究。

当前挑战

在机器人操作领域，双手协调控制始终面临动作同步性与力学平衡性的双重难题。该数据集构建过程中需攻克多传感器时序对齐的技术瓶颈，确保四路视觉流与关节状态数据的毫秒级同步精度。高维动作空间的标注工作涉及十二个手部关节的连续轨迹记录，对数据采集系统的实时处理能力提出严峻考验。此外，居家环境的光照变化与物体位置随机性，要求算法具备对场景动态特性的鲁棒感知能力。

常用场景

经典使用场景

在机器人操作学习领域，AIRBOT_MMK2_mobile_car数据集为双臂协作操作任务提供了标准化实验平台。该数据集通过50个完整操作片段和6897帧多视角视觉数据，重点记录了五指灵巧手推动黄色小车的动态过程。其丰富的运动轨迹标注与多模态传感器数据，为模仿学习与强化学习算法提供了理想的训练环境，特别是针对家庭场景中的物体操控任务开发。

衍生相关工作

基于该数据集衍生的研究工作主要集中在机器人操作技能迁移与多模态学习方向。作为RoboCOIN项目的重要组成部分，其与LeRobot框架的深度兼容催生了众多双臂协调控制算法的创新。相关研究通过利用数据集提供的丰富运动注解，开发了基于视觉的运动规划模型和操作策略泛化方法，推动了机器人操作学习领域的算法进步。

数据集最近研究

最新研究方向

在机器人操作学习领域，AIRBOT_MMK2移动小车数据集凭借其多视角视觉观测与精细动作标注体系，正推动双臂协同操作研究的前沿发展。该数据集通过四路高清摄像头捕捉家居环境下的推车任务，结合末端执行器的六维位姿、速度及加速度等多模态数据，为模仿学习与强化学习算法提供了丰富的训练素材。当前研究热点集中于基于LeRobot框架的动作分割与轨迹预测，通过解析五指机械手的抓取模式与运动动力学特征，探索在复杂场景下的自适应操作策略。这一数据集的发布显著促进了开源机器人社区的发展，为具身智能研究提供了标准化评估基准，并加速了家庭服务机器人的实际应用落地进程。