RoboCOIN/AI2_Alphabot_2_sort_garbage_bag_and_box

该数据集使用基于LeRobot的扩展格式，并完全兼容LeRobot。

This dataset uses an extended format based on LeRobot and is fully compatible with LeRobot.

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，精准的物体分拣与抓取是物流自动化的核心挑战之一。该数据集通过VR远程操控系统，由操作员控制AI2_Alphabot_2双臂机器人在真实仓库场景中执行垃圾袋与盒子的分拣任务。采集过程包含915个完整轨迹片段，总计超过61万帧图像与运动数据，每个片段均采用30帧/秒的高频采样率，同步记录四路RGB相机视角的视觉信息、34维关节与末端执行器的状态参数及动作指令。数据以LeRobot兼容格式存储，通过Parquet文件组织轨迹数据，AV1编码视频压缩视觉流，并辅以末端执行器加速度、方向、速度及夹爪活动模式等多层次语义标注，形成结构完整的机器人操作行为镜像。

特点

该数据集的鲜明特性体现在多模态信息融合与精细化的任务分解设计上。四路分布式相机覆盖胸部、头部及双侧腕部视角，提供480×640分辨率的高清视觉输入，结合状态中34维的关节角度、末端执行器位姿及夹爪开合度等物理量，构建起跨越视觉-空间-动态域的完整感知体系。任务拆分为左手机械臂拾取垃圾袋、右手机械臂转移并放置、右手拾取盒子入箱等三个原子子任务，配套标注文件详细记录了动作类型、末端效应器方向与速度等级，为模仿学习与分层规划算法提供了高度结构化的训练样本。

使用方法

研究人员可基于LeRobot框架直接加载该数据集，通过标准化API获取视频、状态、动作及时间戳等基础模态数据。在模型训练阶段，建议利用episode_index与task_index字段进行片段索引，按照提供的训练集（片段0至914）进行端到端策略或子任务模块的监督学习。数据集内嵌的eef_direction、gripper_activity等语义标注为动作语义解析提供了辅助监督信号，适用于构建具有隐式场景理解能力的机器人控制策略。同时，注释文件中的加速度与速度等级信息可作为奖励函数设计的参考基准，支持采用离线强化学习范式进行策略优化与泛化验证。

背景与挑战

背景概述

该数据集由北京智源人工智能研究院（BAAI）的RoboCOIN团队于2025年创建，核心研究问题聚焦于双臂机器人在仓储物流场景下的精细化操作能力。通过AI2_Alphabot_2机器人平台，数据集记录了915个真实世界操作片段，涵盖垃圾分类与箱体分拣任务，旨在推动机器人从单一操作向双臂协同操作的研究范式转变。其影响力体现在为模仿学习、行为克隆等算法提供了高保真、多维度的训练数据，相关论文发表于arXiv，并依托LeRobot框架实现标准化，为双臂机器人领域的基准测试与算法对比提供了重要支撑。

当前挑战

该数据集所解决的领域问题主要挑战在于双臂协同操作的高维动作空间建模与实时协调，尤其在非结构化仓储环境中，机器人需同时完成垃圾袋与纸箱的抓取、传递与放置，涉及34维动作状态与多视角视觉输入的融合。构建过程中面临的挑战包括：利用VR遥操作收集高精度轨迹数据时，如何保证操作的自然性与可复现性；多摄像头（4路RGB视频）与本体感觉数据的时空同步；以及标注机械臂末端加速度、速度、夹爪模式等多维度语义信息，以支持细粒度的操作技能学习。

常用场景

经典使用场景

在机器人操作学习领域，该数据集为双机械臂协同操作任务提供了高保真的真实世界演示数据。基于AI2_Alphabot_2机器人平台，数据集包含915个高质量演示片段，聚焦于垃圾袋与纸箱的分类放置任务，涵盖了从抓取、传递到归置的完整操作链条。研究者常利用这些多视角视觉与关节状态数据，训练模仿学习模型，使机器人掌握双手协调的分拣技能。典型范式是将四个RGB摄像头（胸部、头部及双腕）的时序图像与34维的动作指令对齐，构建端到端的策略网络，从而在仿真与真实环境中复现复杂的物流仓储操作。

衍生相关工作

此数据集作为RoboCOIN项目的标杆案例，衍生出多项开创性研究。其所在的RoboCOIN框架（arXiv:2511.17441）提出了标准化的双臂操作数据收集与评测协议，后续工作基于此发展了跨场景的技能泛化方法，例如利用层次化子任务标注训练模块化策略网络。数据集中的多模态标注（夹爪活动模式、末端速度方向等）催生了可解释性操作分析工具，学者们据此探索了从眼手协调到任务规划的多级抽象机制。此外，与LeRobot格式的兼容性使其成为大型预训练模型（如RT-2架构）微调的重要数据源，推动了规模化的视觉-动作联合表征研究。

数据集最近研究

最新研究方向

该数据集聚焦于仓储物流场景下的双臂协同垃圾分类操作，通过AI2_Alphabot_2机器人完成垃圾袋与纸箱的分拣与码放任务，涵盖915个高质量演示轨迹，融合了四视角视觉感知与34维状态-动作空间。当前前沿研究正借助此类精标注数据集，推动机器人从单一操作向复杂任务链的泛化能力跃迁，尤其是结合LeRobot框架与RoboCOIN项目所倡导的开放协作范式，在行为克隆、逆强化学习及多模态融合等方向展开突破性探索。该数据集不仅为双臂精细操控提供了标准化基准，更通过真实环境下的亚任务分解（抓取、传递、放置）与原子动作标注，助力解决机器人操作中的长时域依赖与空间协调难题，对智能物流与家庭服务机器人的产业化落地具有深远意义。