Hoshipu/RoboPro

RoboPro是一个80任务的双臂操作数据集，采集自双臂Aloha-Agilex平台。它包含15,999个专家远程操作片段（3.73百万帧，50Hz），记录了来自三个RGB摄像头和同步的14自由度关节命令。每个任务包括一个干净版本和十个带有逐渐增加的干扰对象的杂乱版本（d6…d15）。数据集以LeRobot v2.1格式发布，包含80个基础任务和1,622个独特的语言提示。数据集的结构包括meta、data和videos三个主要部分，分别存储元数据、数据和视频。数据集的加载方式提供了两种：通过LeRobotDataset类加载或通过huggingface_hub下载单个文件。

RoboPro is an 80-task bimanual manipulation dataset collected on a dual-arm Aloha-Agilex platform. It contains 15,999 expert teleoperation episodes (3.73 M frames at 50 Hz) recorded from three RGB cameras and synchronised 14-DoF joint commands. Each task includes a clean variant and ten cluttered variants (d6…d15) with progressively added distractor objects. The dataset is released in LeRobot v2.1 format, including 80 base tasks and 1,622 unique language prompts. The dataset structure consists of three main parts: meta, data, and videos, storing metadata, data, and videos respectively. The dataset can be loaded in two ways: via the LeRobotDataset class or by downloading individual files through huggingface_hub.

搜集汇总

数据集介绍

构建方式

RoboPro数据集基于双机械臂Aloha-Agilex平台构建，专注于80项双臂操控任务。数据采集通过专家遥操作完成，共计15,999轮演示，以50 Hz频率同步记录来自三台RGB摄像头的视觉信息（cam_high、cam_left_wrist、cam_right_wrist）以及14自由度关节指令。每项任务包含一个干净版本和十个 clutter 版本（d6至d15），后者通过渐进式添加干扰物体增加复杂度。数据采用LeRobot v2.1格式存储，分为Parquet文件（记录50 Hz本体感知数据）与MP4视频文件，并附带元数据文件以描述任务语言指令与轮次属性。

特点

RoboPro数据集以大规模、多任务和结构化干扰设计为核心特点。它涵盖1,622个独特的语言提示，支持自然语言驱动的任务泛化。每个任务的clutter版本模拟了从轻微到严重的环境遮挡，为评估算法的鲁棒性提供了阶梯式难度梯度。在时序分辨率上，50 Hz的采样率确保了精细动作细节的捕捉。此外，数据集的camera布局与14自由度动作空间完整封装了双臂协同操作中的视觉-运动映射挑战，适合模仿学习与策略迁移研究。

使用方法

用户可通过LeRobot库便捷加载数据集，具体调用LeRobotDataset构造函数，传入仓库标识符'Hoshipu/RoboPro'及根目录路径即可获取完整轮次。若要高效处理视频与传感器数据，建议优先使用此接口而非手动解析文件。对于需要分析特定轮次的场景，也可通过huggingface_hub下载单个Parquet文件，并利用PyArrow库读取表格数据。每条记录包含joint状态、目标动作、时间戳与任务索引，便于直接构造离线训练样本或进行策略评估。

背景与挑战

背景概述

RoboPro是由李致远于2026年发布的面向双臂灵巧操作的数据集，基于Aloha-Agilex双机械臂平台（14自由度），包含15,999条专家遥操作演示（373万帧、50 Hz采样），覆盖80个基础任务及其清洁与十种杂乱变体（d6至d15），总计1,622条语言指令。该数据集以LeRobot v2.1格式存储，整合了多视角RGB视觉与关节状态序列，旨在突破单臂操作数据集的局限性，为双臂协同模仿学习提供高保真、多场景的基准资源，填补了从结构化环境向非结构化场景迁移的空白，对机器人学习与操作泛化领域具有重要推动价值。

当前挑战

该数据集所应对的领域挑战在于双臂灵巧操作的示教数据稀缺与泛化瓶颈，尤其在杂乱场景中机械臂需同时处理感知干扰与协同控制，现有数据集多聚焦单臂或简单任务，难以支撑复杂多体交互的模仿学习。构建过程中面临的挑战包括：1）80类任务与10种杂乱变体的系统化设计，需平衡任务多样性与数据采集效率，防止类别偏差；2）14自由度双机械臂的同步遥操作与50 Hz高频数据记录，需克服硬件延迟与多模态对齐误差；3）1,622条语言提示与视觉-动作轨迹的精确标注，确保语义与运动序列的一致性。

常用场景

经典使用场景

在机器人模仿学习领域，RoboPro数据集为双臂协同操作任务的研究提供了高质量的专家演示资源。该数据集涵盖了80种不同的桌面操作任务，每种任务均包含干净环境与逐渐增加干扰物的十种杂乱变体，共计近16,000个示范回合。研究者可借助此数据训练双臂机器人模仿专家行为，从视觉观测和关节状态中学习端到端的控制策略，尤其适用于Aloha-Agilex这类14自由度双臂平台的技能习得。

实际应用

在实际应用中，RoboPro所采集的示范数据可用于训练工业生产中的双臂协作机器人，执行如零件装配、物料分拣和工具递送等典型桌面操作。医疗场景中的辅助操作机器人也可借助此类定制化数据进行技能迁移，完成器械传递或样本处理任务。此外，家庭服务机器人通过基于此数据集的模仿学习，有望掌握餐具摆放、物品收纳等日常家务技能，加速双臂机器人从实验室走向真实应用环境的进程。

衍生相关工作

基于RoboPro数据集，衍生了一系列关于双臂机器人行为克隆与视觉运动策略的研究工作。经典方向包括利用扩散策略建模多模态动作分布，对比条件变分自编码器与基于Transformer的序列建模方法的性能差异。另有工作在此基础上引入域随机化技术，评估算法对视觉背景与物体布局变化的适应性。该数据集还与LeRobot框架深度集成，成为验证新型模仿学习架构、对比动作表示学习方法的标准化测试平台，催生了多项关于噪声鲁棒性与多任务泛化的系统性探究。