RoboCOIN/AI2_Alphabot_2_store_toys_1

该数据集采用基于LeRobot的扩展格式，并完全兼容LeRobot。This dataset uses an extended format based on LeRobot and is fully compatible with LeRobot.

搜集汇总

数据集介绍

构建方式

该数据集源自RoboCOIN团队在真实家庭客厅场景中，利用AI2_Alphabot_2双臂机器人通过VR控制器遥操作采集而成。数据集包含113个演示片段，共计71,384帧，帧率为30 FPS，存储格式严格遵循LeRobot规范，将视频、状态、动作及元数据以parquet文件和压缩视频形式分块存储。数据采集过程记录了黄、黑三只玩偶被左右手交替拾取并放入中央收纳箱的完整操作，并附有详细的日志与标注文件。

特点

数据集的核心特色在于其丰富的多模态信息与精细的标注体系。除了34维的关节位置、末端执行器位姿等机器人状态与动作数据外，还额外提供了末端执行器加速度、速度、方向以及夹爪模式与活动等五种行为注解。四路RGB摄像头（胸部、头部及左右腕部）以640×480分辨率同步录制，为模仿学习与策略泛化研究提供了立体视觉基础。整个数据集仅包含一项固定双臂操作任务，但高频采样与详尽标注确保了数据质量。

使用方法

用户可通过HuggingFace Datasets库直接加载该数据集，其格式与LeRobot框架完全兼容。典型的使用流程包括：利用`load_dataset`函数导入数据，通过`episode_index`字段按片段索引访问，获取`observation.images`中的四路视频帧与`observation.state`中的机器人状态序列，并配合`action`字段进行策略训练。数据已预先划分为训练集（第0至112片段），便于直接用于行为克隆或强化学习研究中模型的任务学习与评估。

背景与挑战

背景概述

在具身智能与机器人学习领域，双臂协同操作任务因其复杂的运动规划与感知耦合需求，长期被视为迈向通用机器人能力的关键挑战之一。为应对这一难题，北京智源人工智能研究院（BAAI）的RoboCOIN团队于2025年发布了AI2_Alphabot_2_store_toys_1数据集，该数据集围绕家庭起居室场景中的玩具交替抓取与放置任务构建，旨在为双臂机器人从感知到控制的端到端学习提供高质量真实世界数据。数据集涵盖113个示范片段，总计超过7万帧，支持基于视觉与本体感知的模仿学习与强化学习研究。作为RoboCOIN开源套件的一部分，该数据集通过LeRobot标准格式与丰富的运动学及任务注释，为双臂精细操作研究的可复现性与对比评估奠定了重要基础。

当前挑战

该数据集所解决的领域核心挑战在于双臂机器人在非结构化家庭环境中执行协同操作的泛化能力，具体体现为：如何在有限示范数据下学习左右手交替拾放的高精度轨迹控制、抓取模式切换与碰撞规避策略。此外，数据集构建过程本身面临多重技术障碍，包括多视角异构视觉流（四路RGB）与34维关节动作空间的高频同步采集、VR遥操作控制器引入的人机交互延迟补偿、以及真实场景下玩具颜色与形态多样性的标注一致性维护。这些挑战使得该数据集成为评估双臂基础模型任务泛化与鲁棒性的重要基准。

常用场景

经典使用场景

AI2_Alphabot_2_store_toys_1 数据集聚焦于双机械臂在家庭客厅场景下的协同搬运任务，经典使用场景为左右手交替拾取玩具并放入中央收纳盒。该数据集包含 113 个演示片段，涵盖 4 个 RGB 摄像头视角（前胸、头部及左右手腕），提供 34 维的状态与动作空间，并标注了末端执行器加速度、方向、速度及夹爪活动等细粒度信息。研究者常利用该数据训练双机械臂的联合控制策略，尤其适用于模仿学习中的行为克隆与视觉运动策略迁移，是验证多模态感知与灵巧操作融合能力的理想基准。

解决学术问题

该数据集主要解决了真实世界双机械臂协同操作中数据稀缺与任务复杂性高的学术难题。传统单臂数据集难以覆盖双臂协调的时空耦合与碰撞规避机制，而 AI2_Alphabot_2_store_toys_1 通过标准化 34 维动作空间与多视角视觉输入，为探索双臂运动的动态平衡、夹爪时序调度以及长程任务分解提供了可靠数据支撑。其意义在于推动了从单一抓取到复合式双侧协作的策略泛化研究，并为验证因果推断与层次化强化学习在物理机器人上的有效性创造了条件，显著降低了双臂操作研究的实验门槛。

衍生相关工作

该数据集衍生出的经典工作主要围绕 RoboCOIN 框架展开，包括基于 LeRobot 格式的端到端模仿学习基线、双臂操作中的视觉语言提示微调方法，以及利用加速计与方向注释增强奖励塑形的研究。相关论文提出了一种可复现的双机械臂数据采集流程，促进了数据标准化与跨平台策略迁移，并衍生出面向细粒度操作分解（如原子动作标注）的算法评估体系。此外，数据集驱动的视觉运动分层模型已成为后续探索通用操作技能组合的重要参照，推动了开源机器人社区在双臂交互任务上的协作创新。