RoboCOIN/AI2_Alphabot_2_clink_glasses

该数据集采用基于LeRobot的扩展格式，并且与LeRobot完全兼容。

This dataset uses an extended format based on LeRobot and is fully compatible with LeRobot.

搜集汇总

数据集介绍

构建方式

AI2_Alphabot_2_clink_glasses数据集由北京人工智能研究院（BAAI）的RoboCOIN团队采集，专注于双手机器人精细操作场景。数据通过VR控制器远程操控AI2_Alphabot_2机器人完成，其末端执行器为两指夹爪。任务设定在真实世界的餐饮环境中，操作员执行“用夹爪拿起一个杯子并轻敲另一个杯子”的动作，涉及紫色塑料杯、蓝色塑料杯和黑色玻璃杯三种对象。数据集共收录393个演示片段，总帧数达337,932帧，以30帧/秒的速率采集，并以LeRobot扩展格式存储。数据被划分为单独的训练集，包含单臂固定操作类型，同时提供了丰富的原子动作标签，如抓取、移动和放置。

特点

该数据集的一大特色在于多模态感知信息的集成。机器人配备了四路RGB摄像头，分别位于前胸、前额、左手腕和右手腕，提供480x640分辨率的视频流，覆盖了全局与局部视角。数据特征维度为34维，涵盖双臂各7个关节角度、末端执行器三维位置与欧拉角、夹爪开合状态以及颈部和躯干关节信息，同时记录了时间戳与帧索引。此外，数据集还附带了丰富的语义标注，包括末端执行器加速度大小、方向、速度以及夹爪活动与模式，为模仿学习、技能分解等研究提供了高粒度注释。所有数据均采用Apache-2.0许可，方便学术与工业应用。

使用方法

数据集完全兼容LeRobot框架，用户可通过标准LeRobot API直接加载。数据组织遵循分块存储模式，主数据文件以Parquet格式存放于data/chunk-000/目录下，每个片段独立保存。视频文件按相机视角分类存储于videos/chunk-000/子目录中，编码格式为AV1。附加的JSONL注释文件位于annotations/文件夹中，便于独立分析与可视化。用户可通过episodes.jsonl和tasks.jsonl快速检索任务描述与统计信息。使用时，建议结合LeRobot的工具链进行数据预处理、模型训练与回放评估，尤其适用于双臂协同操作任务的研究与开发。

背景与挑战

背景概述

AI2_Alphabot_2_clink_glasses数据集由北京人工智能研究院（BAAI）的RoboCOIN团队于2025年创建，旨在推动双手机器人在精细操作任务中的研究。该数据集聚焦于餐饮服务场景中一个典型的人机交互任务：操作者使用Alphabot 2机器人通过VR控制器遥控完成“拿起一只杯子并用其轻击另一只杯子”的精准动作。数据集包含393个演示片段，累积超过33万帧高质量视频与34维状态-动作信息，覆盖前胸、头部及双腕四个RGB视角。作为RoboCOIN开源项目的一部分，该数据集为模仿学习、多模态感知与双臂协同控制提供了高保真的标准化基准，对服务机器人领域的发展具有重要示范意义。

当前挑战

该数据集所应对的核心领域挑战是双臂机器人在复杂非结构化环境中执行精细接触式操作（如轻击杯子）时的精准控制与可靠泛化问题。任务要求机器人准确识别不同材质（塑料、玻璃）与颜色杯具的空间位姿，规划协调双臂运动轨迹，同时精确控制夹爪施力以避免打滑或损坏物品。数据构建过程中亦面临显著挑战：需在真实餐厅环境中反复采集393个高质量的遥操作演示，确保视角标定、动作对齐与数据同步的精准性；同时要处理VR控制器传输延迟、手眼协调偏差以及长时间采集导致的人为疲劳等工程难题，以保证数据的完整性与可靠性。

常用场景

经典使用场景

AI2_Alphabot_2_clink_glasses数据集在机器人学习领域占据着举足轻重的地位，其最经典的使用场景聚焦于模仿学习（Imitation Learning）与行为克隆（Behavior Cloning）研究。该数据集提供了393条高质量演示轨迹，详细记录了AI2_Alphabot_2机器人在餐饮场景下执行“夹取一只杯子并轻碰另一只杯子”这一精细操作任务的全过程。通过多视角视觉传感器（胸部、头部及双腕摄像头）与34维状态动作空间的有效融合，研究人员可利用该数据集训练机器人模型，使其学会从视觉观察到关节指令的端到端映射，精准复现复杂的物体操控与交互行为。

解决学术问题

此数据集精准回应了机器人操作领域长期存在的核心学术难题，即如何在复杂多变的真实环境中实现稳定可靠的模仿学习。它有效解决了模仿学习对高质量、长序列演示数据迫切需求的困境，提供了涵盖340,000余帧、时长大数小时的细粒度示范资料。这些数据依托规范化的状态表示和丰富的注释（如夹爪活动、末端执行器方位），为多任务学习、物理人机交互研究奠定了基础。其意义在于引入标准化的数据采集范式，显著降低了研究中数据获取与处理的壁壘，促进了机器人精细操作技能的跨场景泛化研究。

衍生相关工作

基于该数据集催生了一系列具有深远影响的衍生工作，其中最引人注目的是RoboCOIN团队的研究。该团队利用此数据集验证了其提出的双机械臂协同操作框架的有效性，相关成果发表在预印本arxiv:2511.17441上。此外，该数据集的高标准格式框架（LeRobot）也为后续开发跨平台机器人学习基准提供了范本，吸引了更多研究者构建和共享类似的高质量机器人操作数据集，加速了具身智能领域从封闭实验走向开放协同的进程。