AIRBOT_MMK2_pull_the_syringe_piston

该数据集是基于LeRobot格式的扩展版本，用于机器人抓取、拾取和放置注射器的动作。数据集包含丰富的注释，包括子任务分割、场景描述、机器人末端执行器运动方向、速度和加速度的分类，以及抓取器的开/关状态和活动状态。数据集包含视频、状态数据和动作数据，支持多种学习方式。

原始信息汇总

AIRBOT_MMK2_pull_the_syringe_piston 数据集概述

数据集基本信息

• 名称: AIRBOT_MMK2_pull_the_syringe_piston
• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 规模: 1K-10K

机器人配置

• 机器人类型: AIRBOT_MMK2
• 代码库版本: v2.1
• 末端执行器类型: 五指手

场景与动作

• 场景类型: 家庭环境
• 原子动作: 抓取、拾取、放置

数据集统计

指标	数值
总片段数	50
总帧数	9990
总任务数	1
总视频数	200
总分块数	1
分块大小	1000
帧率	30

任务描述

主要任务

用一只手拿起注射器，用另一只手拉开活塞，然后用第一只手将注射器放回桌面。

子任务

1. 异常
2. 结束
3. 用右手夹爪抓住活塞
4. 用左手夹爪抓住注射器
5. 用左手夹爪抬起注射器
6. 空
7. 用左手夹爪将注射器放在桌子上
8. 用右手夹爪拉动活塞
9. 静态

数据特征

视觉观测

• 4个摄像头视角：高视角RGB、左手腕RGB、右手腕RGB、第三视角
• 分辨率：480×640×3
• 帧率：30 FPS
• 编码：AV1

状态与动作

• 状态观测: 36维浮点数（关节位置）
• 动作: 36维浮点数（关节控制）

注释信息

• 子任务注释: 细粒度子任务分割和标注
• 场景注释: 语义场景分类和描述
• 末端执行器注释: 方向、速度、加速度分类
• 夹爪注释: 模式（开/关）、活动状态

运动特征

• 末端执行器仿真姿态（状态和动作）
• 末端执行器方向分类
• 末端执行器速度分类
• 末端执行器加速度分类

数据组织

文件结构

• 数据文件: Parquet格式，按分块组织
• 视频文件: MP4格式，按摄像头视角组织
• 元数据: JSON格式，包含数据集信息

数据划分

• 训练集: 片段0-49

作者与链接

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

技术兼容性

• 基于LeRobot格式扩展
• 完全兼容LeRobot框架

引用信息

如需在研究中引用此数据集，请使用提供的BibTeX条目。

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，该数据集采用AIRBOT_MMK2双手机器人平台，通过五指灵巧手执行注射器活塞抽取任务。构建过程基于LeRobot扩展格式，包含50个完整操作片段，总计9990帧时序数据。数据以分块形式组织为单个千帧容量的数据块，采用Parquet列式存储格式，确保高效读写与跨平台兼容性。多视角视觉数据通过四路高清摄像头同步采集，帧率稳定维持在30FPS，为双臂协同操作研究提供结构化数据基础。

特点

该数据集显著特征体现在多层次标注体系与多模态数据融合。除基础的动作指令与状态观测外，创新性地引入末端执行器运动学特征标注，包含六维位姿、速度矢量及加速度模量等物理量。九类原子操作的分段标注精确刻画了“抓取-提起-拉动-放置”的操作链条，配合四路视角的视觉流（包括高位视角、双腕部视角及第三方视角），构建出立体化的操作场景表征。36维关节空间状态与动作向量的完整记录，为模仿学习与强化学习算法提供丰富监督信号。

使用方法

研究者可通过LeRobot标准接口直接加载该数据集，数据按训练集（0-49号片段）划分并存储于结构化目录。实际应用中，用户可依据parquet文件内的帧索引与时间戳实现精确数据定位，多路视频流与状态数据通过episode索引保持严格同步。算法开发时可灵活调用末端执行器仿真位姿、夹爪开合尺度等动态特征，结合细粒度任务标注实现行为克隆、轨迹生成等任务。数据集兼容主流的机器人学习框架，支持从原始传感器数据到高层语义指令的端到端 pipeline 构建。

背景与挑战

背景概述

在机器人操作研究领域，双手机器人协同执行复杂任务一直是前沿课题。AIRBOT_MMK2_pull_the_syringe_piston数据集由RoboCOIN团队于2025年11月发布，聚焦于医疗场景下注射器活塞拉取这一精细操作。该数据集基于LeRobot框架构建，包含50个完整操作序列、9990帧多视角视频数据，以及丰富的末端执行器运动轨迹与抓取状态标注。其核心价值在于为双臂协调操作、精细物体操控等研究提供了标准化基准，推动家庭服务机器人向更高程度的自主化与智能化发展。

当前挑战

该数据集致力于解决双臂机器人精细操作中的动作同步与力控制难题。构建过程中面临多重挑战：多视角视频数据的时间对齐需要精确到毫秒级，双手六维位姿数据的空间标定需保持亚毫米精度，复杂操作流程的细粒度标注需保持语义一致性。此外，五指灵巧手在抓取易变形物体时的接触力学建模，以及双臂运动轨迹在动态环境中的避障规划，均为该数据集试图突破的技术瓶颈。

常用场景

经典使用场景

在机器人操作学习领域，该数据集为双臂协同操作任务提供了标准化基准。其核心应用场景聚焦于模拟医疗环境中注射器活塞抽取的精细动作，通过多视角视觉观测与关节状态数据，支持机器人从演示中学习抓取、拾取、放置等原子动作的序列组合。这种双机械臂协同操作的复杂任务设计，为研究双手协调控制策略提供了真实且可复现的实验平台。

解决学术问题

该数据集有效解决了机器人模仿学习中动作分割与任务规划的学术难题。通过精细标注的子任务序列和末端执行器运动特征，研究者能够深入分析双手操作中的时序依赖关系。其丰富的运动学注解为研究机器人动作表征学习提供了数据支撑，特别是在解决动态环境下的双手协调控制问题方面具有重要价值，推动了机器人技能泛化能力的研究进展。

衍生相关工作

基于该数据集衍生的研究主要围绕LeRobot框架展开双臂操作算法的创新。相关工作在模仿学习领域探索了多层次动作表征方法，利用其丰富的运动注解开发了新型动作分割算法。在机器人技能传输方面，研究者通过该数据集验证了跨任务泛化模型的有效性，这些工作共同推动了双臂机器人操作技能的标准化评估体系建立。