RoboCOIN/AI2_Alphabot_2_stir_spoon

该数据集采用基于LeRobot的扩展格式，并完全兼容LeRobot。

This dataset adopts an extended format based on LeRobot, and is fully compatible with LeRobot.

搜集汇总

数据集介绍

构建方式

该数据集由北京智源人工智能研究院RoboCOIN团队构建，基于AI2_Alphabot_2双机械臂机器人平台，通过VR控制器进行遥操作，采集在餐饮场景中执行“单手持勺搅拌后归位”任务的高质量数据。数据集采用LeRobot扩展格式存储，包含405个演示片段、总计334844帧图像与34维状态/动作数据，并通过四组RGB摄像头（胸前、头部、左右手腕）以30帧/秒、640×480分辨率捕获多视角视觉信息。

特点

数据集具有鲜明的精细化操作特性，涵盖“拾取-搅拌-插入”三类原语动作，并配套了丰富的语义标注（如末端执行器速度、方向、加速度及夹爪模式），支持多层次机器人学习研究。其环境为真实世界的餐厅场景，物体为银色搅拌勺与棕色纸杯，任务指令标准化且包含单臂固定操作模式，数据质量高且场景聚焦，适用于模仿学习与技能泛化研究。

使用方法

使用者可基于LeRobot框架直接加载数据集，通过data/chunk-{id}/episode_{id}.parquet获取状态、动作和元数据，并同步访问videos/目录下四视角的AV1编码视频。数据按0至404片段划分为训练集，提供了完整的34维机器人关节、末端执行器位姿与夹爪状态，便于训练视觉-运动策略。此外，annotations目录下的JSONL标注文件（如eef_velocity_annotation.jsonl）可辅助进行行为分析或技能拆解研究。

背景与挑战

背景概述

在机器人学习领域，精细操作技能的获取与泛化一直是核心挑战。该数据集由北京人工智能研究院（BAAI）的RoboCOIN团队于2025年创建，旨在为双臂机器人提供高质量的细粒度操作数据。其核心研究问题聚焦于如何通过遥操作数据驱动的方式，使机器人掌握诸如搅拌等涉及手眼协调的复合操作技能。作为RoboCOIN项目的一部分，该数据集以Apache-2.0许可开源，依托LeRobot框架构建，为机器人操作的模仿学习与策略迁移研究提供了标准化基准。其对领域的影响力体现在：不仅丰富了餐饮服务场景下的机器人数据资源，还通过多视角视觉传感器与详尽的状态动作标注，推动了具身智能研究中数据效率与泛化能力的发展。

当前挑战

该数据集所解决的领域挑战主要在于机器人细粒度复合操作的模仿学习难题，例如从单手握取勺子到完成杯内搅拌并归位的多步骤任务，要求模型在未见的布局和光照条件下仍能精确复现手部轨迹与力控协调。构建过程中的挑战包括：在真实餐饮场景中，利用多台RGB摄像头（胸部、头部及双腕视角）同步捕获高帧率（30 FPS）视频，同时记录34维机器人状态与动作数据，需确保遥操作过程中无遮挡、时间戳严格对齐，并克服金属勺等反光物体对视觉感知的干扰。此外，405个episode的数据一致性维护、大规模视频存储（14.30 GB）的压缩编码，以及多模态标注（如末端执行器方向、加速度）的自动化生成，均构成了构建上的显著挑战。

常用场景

经典使用场景

在机器人操作学习的研究领域中，该数据集聚焦于餐饮场景下的精细操控任务，即机器人单臂拾取搅拌勺、在纸杯内完成搅拌动作后归还原位。这一经典任务场景为模仿学习与行为克隆算法提供了丰富的视觉与状态-动作轨迹数据。研究者可利用其多视角RGB视频流（包括胸部、头部及双腕摄像头）以及34维关节与末端执行器状态信息，训练机器人从感知到动作的端到端映射模型。该数据集的标准化为不同算法在同一任务上的公平比较提供了可能，成为验证操作技能习得效果的重要基准。

衍生相关工作

该数据集作为RoboCOIN项目的重要组成部分，衍生了一系列相关研究工作。其数据格式与LeRobot框架深度兼容，推动了基于Transformer的扩散策略与视觉-语言-动作模型在该任务上的验证与改进。研究者已在其基础上探索了跨场景泛化方法，以及利用端效应器方向、速度等高阶注释实现技能分解与元件式组合。丰富的标注信息（如夹爪活动模式）还催生了关于操作阶段分割与状态抽象的研究，进一步拓展了面向精密接触任务的模仿学习理论基础。

数据集最近研究

最新研究方向

在当前机器人学习领域，基于大规模真实世界操作数据的模仿学习与技能泛化已成为前沿热点，而AI2_Alphabot_2_stir_spoon数据集正是这一浪潮中的关键资源。作为RoboCOIN开源项目的一部分，该数据集聚焦于餐饮场景下的精细双臂操作任务——单手拾取搅拌勺、在纸杯内旋转搅拌并归位——涵盖了405个高质量演示片段与超过33万帧多视角视频。其前沿方向体现在结合LeRobot格式与丰富标注（如末端执行器加速度、方向与夹爪活动），为细粒度动作分解与跨任务泛化研究提供了坚实基础。该数据集的发布顺应了具身智能领域对复杂操作技能的迫切需求，不仅推动了真实场景下机器人从简单抓取向灵巧交互的范式跃迁，更通过开放标准的构建，加速了学界与工业界在机器人自主决策与安全操作上的协同探索。