RoboCOIN/AI2_Alphabot_2_stir_water

该数据集采用基于LeRobot的扩展格式，并完全兼容LeRobot。

This dataset uses an extended format based on LeRobot and is fully compatible with LeRobot.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，精细操作数据的匮乏一直是制约技能泛化能力发展的关键瓶颈。AI2_Alphabot_2_stir_water数据集基于LeRobot扩展格式构建，旨在为双臂协作场景下的策略学习提供高质量的开源基准。该数据集通过VR控制器遥操作方式，操控AI2_Alphabot_2机器人执行单臂固定操作任务，共采集了322个示范片段、总计284,361帧数据。每个片段均以30帧/秒的帧率记录，并存储为Parquet格式文件与压缩为AV1编码的视频文件。数据被组织在单个分块中，遵循规范化的路径结构，确保了与LeRobot框架的无缝兼容与便捷加载。

特点

该数据集的核心特色在于其丰富的感知维度与精细的标注层级。任务场景设定于家庭厨房环境中，机器人需完成“右手拿起勺子搅拌碗中清水”这一目标。数据同时提供了来自前胸、前额、左右手腕四个RGB相机的640×480分辨率视频流，从多视角捕捉操作细节。状态与动作空间均为34维，涵盖左右臂关节、末端执行器位姿、夹爪状态及躯干、颈部自由度。数据集还注入了机械手加速度方向、速度、夹爪活动模式等高级语义标签，极大便利了从原始信号到符号化行为的端到端建模研究。

使用方法

使用者可借助LeRobot库直接加载并解析该数据集。通过指定数据路径模式'data/chunk-{id}/episode_{id}.parquet'，即可轻松访问322个训练片段。每个片段包含多帧的观测图像（以视频文件存储）、机器人状态向量、动作指令、时间戳及元数据。数据集本身已预设为训练集（片段0至321），无需额外划分。配合附带的JSONL格式标注文件，研究者可针对任务分解、动作原语识别或细粒度技能生成等方向快速展开实验，是离线模仿学习与多视角视觉运动策略研究的理想数据基础。

背景与挑战

背景概述

在机器人学习与操控领域，从单一刚性抓取迈向精细化的灵巧操作已成为前沿方向，而厨房场景下的轻量级非刚性交互任务（如搅拌液体）对机器人感知、规划与控制能力提出了极高要求。由北京智源人工智能研究院（BAAI）RoboCOIN团队于2025年发布的AI2_Alphabot_2_stir_water数据集，专注于家用机器人用右手拾取勺子并搅拌碗中清水的固定单臂操作。该数据集包含322个演示片段、逾28万帧图像，搭载四台RGB摄像头从胸部、头部及双腕视角同步采集环境信息，并提供了34维状态-动作空间。作为RoboCOIN开源双臂一体化操控项目的重要组成部分，该数据集为研究液体动力学建模、柔性体交互策略以及多视角融合下的仿人操作提供了标准化基准，推动了家庭服务机器人从理论走向实际应用。

当前挑战

该数据集所解决的领域核心挑战在于家用机器人对非刚性可变形目标（液体）的鲁棒操控。液体无固定形态、在搅拌过程中发生复杂的湍流与波动，传统的刚性物体抓取与运动学模型难以适用；机器人需从多视角视觉流中实时感知液面变化，并规划平滑的搅拌轨迹以避免溢出。构建过程中面临多重挑战：一是需在真实厨房环境（Household->Kitchen）下精确标定AI2_Alphabot_2机器人的双臂与躯干自由度，保证34维动作命令与视觉反馈的时空对齐；二是通过VR遥控（teleoperation）采集人类示范时，需消除操作者手抖与延迟差异，确保322段演示的一致性和可复现性；三是12.14 GB的4路AV1编码视频数据对存储与高效批处理提出了工程优化要求。

常用场景

经典使用场景

AI2_Alphabot_2_stir_water数据集聚焦于家庭厨房场景中的精细操作任务，其核心是让机器人通过右臂拾起勺子并搅动碗中清水。这一经典任务融合了视觉感知、物体抓取与连续轨迹控制，为研究多阶段操作（如pick、move、stir、place）提供了标准化基准。数据集中包含322个高质量演示片段，涵盖四视角RGB视频（胸部、头部及左右手腕摄像机），以及34维度的关节状态与动作信息，能够有效支撑模仿学习、行为克隆与视觉运动策略的模型训练与评估。研究者可借此探索复合技能的解耦与泛化，推动机器人从简单抓取向精细操作能力的迁移。

衍生相关工作

该数据集衍生出多项推动机器人学习进展的经典工作。作为RoboCOIN项目核心组件，它催生了面向复杂操作的原子动作标注体系（包括eef_acc_mag、gripper_activity等五类注释），为技能分解与组合研究奠定数据基础。基于该数据的研究涉及多阶段模仿学习、视觉-动作跨模态对齐及长时域任务规划，相关成果发表在机器人顶级会议与开源社区。数据集的开放式架构亦促使后续工作如RoboCOIN-Light等轻量化变体问世，进一步降低精细任务采集门槛，并激发了面向去中心化与隐私保护的联邦学习方案在机器人领域的探索。

数据集最近研究

最新研究方向

在家庭厨房场景下，AI2_Alphabot_2_stir_water数据集聚焦于双臂协作机器人的精细操作能力研究，尤其是涉及“用右手拿起勺子搅拌碗中清水”这一典型家务任务。该数据集通过VR遥操作收集了322段高质量演示轨迹，包含4个RGB摄像头视角和34维状态-动作空间，其丰富的末端执行器加速度、方向、速度及夹爪活动标注，为模仿学习、行为克隆及具身智能体在非结构化环境中的泛化研究提供了坚实的数据基础。作为RoboCOIN项目的重要组成部分，这一数据集推动了双臂机器人从单一抓取向复合操作任务的演进，为打造具备精细触觉反馈和实时协同控制能力的下一代家庭服务机器人奠定了关键基石。