shirasu206/dual_arm_ur5e_ur3e_20260530_v6

该数据集是一个用于机器人学的双臂机器人数据集，使用LeRobot创建。数据集包含UR5e和UR3e双臂机器人的观测和动作数据。具体来说，数据集包括10个episodes，总计5838帧，覆盖1个任务。数据以parquet文件格式存储，分割为训练集（episodes 0到10）。观测数据包括三个视频流：base_image、ur5e_image和ur3e_image，每个视频分辨率为224x224像素，3通道（RGB），使用H.264编码，帧率为15fps，无音频。状态观测为14维浮点数向量，分别表示UR5e和UR3e机器人的6个关节位置和夹爪状态。动作为14维浮点数向量，对应两个机器人的关节和夹爪控制。此外，数据集还包含时间戳、帧索引、episode索引、索引和任务索引等元数据。该数据集适用于机器人控制、模仿学习或强化学习任务，许可证为Apache-2.0。This dataset is a dual-arm robotics dataset created using LeRobot. It contains observation and action data from UR5e and UR3e dual-arm robots. Specifically, the dataset includes 10 episodes, totaling 5838 frames, covering 1 task. The data is stored in parquet format, split into a training set (episodes 0 to 10). Observations consist of three video streams: base_image, ur5e_image, and ur3e_image, each with a resolution of 224x224 pixels, 3 channels (RGB), encoded in H.264, at 15fps, without audio. State observations are 14-dimensional float vectors representing the joint positions and gripper states of both UR5e and UR3e robots. Actions are 14-dimensional float vectors corresponding to joint and gripper controls for both robots. Additionally, the dataset includes metadata such as timestamps, frame indices, episode indices, indices, and task indices. It is suitable for robotics control, imitation learning, or reinforcement learning tasks, licensed under Apache-2.0.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，聚焦于双机械臂协同操作场景。数据采集自UR5e与UR3e两款机械臂，通过多模态传感器同步记录操作过程。数据集以Parquet格式存储结构化数据，每帧包含14维关节状态与动作指令，涵盖关节角度与夹爪状态。视频数据以H.264编码压缩，分辨率为224×224，帧率设定为15fps，确保时间序列的连贯性。数据集共包含10个操作轨迹片段，总计5838帧，按1000帧为单元分块存储，便于高效加载与处理。训练集与全量数据一致，未划分验证集，体现数据集的紧凑与专注。

特点

数据集的核心特点在于其双机械臂协同任务的精细化设计。UR5e与UR3e的观测与动作数据均独立标注，分别对应6个关节与夹爪自由度，形成14维状态空间与动作空间，精准反映双臂联动特性。多视角图像观测包含基础视角、UR5e视角与UR3e视角，构建了丰富的视觉反馈层次。数据以1000帧为分块单位，兼顾了流式读取与内存效率。此外，数据集采用Apache-2.0开源协议，允许广泛的研究与商业再使用，凸显其开放性与实用性。

使用方法

数据集适用于基于行为克隆或强化学习的双机械臂操控任务。研究者可通过LeRobot库直接加载Parquet与视频文件，利用其内置的数据迭代器按episode或chunk索引访问。训练时，可提取‘observation.state’作为状态输入，‘observation.base_image’等作为视觉输入，‘action’作为监督信号进行策略学习。数据集内置的‘episode_index’与‘frame_index’字段支持时间序列的切片与对齐。建议使用PyTorch或TensorFlow框架，结合LeRobot的标准化预处理流程，实现高效模型训练与评估。

背景与挑战

背景概述

该数据集由研究团队基于LeRobot框架于2025年6月30日创建，旨在为双机械臂协作任务提供标准化的训练与评估基准。数据集以两台UR5e和一台UR3e机器人为核心平台，聚焦于多臂协同操作中的状态感知与动作控制研究。其包含10个演示片段、共计5838帧高保真数据，融合了多视角视觉观测与14维关节状态及动作信号，为模仿学习与强化学习算法在复杂机器人操作系统中的验证提供了精细化支持。数据集的发布填补了双机械臂联合操作领域公开数据的稀缺性，推动了多机器人协同控制、人机交互以及自动化工业装配等前沿方向的发展。

当前挑战

当前数据集面临的核心挑战包括：1）领域问题层面，双机械臂协同作业涉及高维状态空间与运动学耦合，现有演示数据难以覆盖复杂环境下的动态交互策略，且单任务设定限制了算法在多样化场景中的泛化能力；2）构建过程中，数据采集依赖人工遥操作演示，精度与一致性受操作员经验影响，且14维动作空间与多视角视频的同步对齐需克服时间戳抖动与传感器标定误差；3）仅10个演示轮次的数据规模可能不足以为深度模型提供充足的训练样本，易引发过拟合与策略鲁棒性下降的风险。

常用场景

经典使用场景

在机器人学习领域，该数据集涵盖了由UR5e和UR3e协作机械臂组成的双臂系统执行单一任务的10个示范轨迹，共计5838帧图像与状态动作序列。其经典使用场景聚焦于模仿学习，研究者可利用基线相机及双臂末端视角的224×224像素视频流，结合14维关节状态与动作数据，训练策略网络复现精细的协同操作行为。数据以15帧/秒的恒定频率采集，并遵循LeRobot框架的标准化组织格式，便于与Diffusion Policy、ACT等主流算法无缝对接，为双臂协调控制的研究提供了高质量的训练基石。

实际应用

在实际工业场景中，该数据集所表征的双臂协作模式可直接迁移至精密装配、医疗手术辅助及仓储分拣等需要双侧协同作业的任务。例如，UR5e承担重载定位与粗操作，UR3e执行末端精细抓取与调整，模拟了汽车线束插接或电子元件贴合等产线工序。机器人可基于学习到的联合策略实时协调双臂的运动轨迹与夹持力，避免干涉并提升柔顺性。这种数据驱动的解决方案降低了传统编程方法的调试复杂度，为柔性制造系统提供了一种可快速部署、适应不同部件的自适应操作范式。

衍生相关工作

围绕此类双臂示范数据集，衍生工作集中在跨具身架构的策略迁移与数据增强方法上。研究者常基于LeRobot的标准化接口，利用该数据集微调预训练的扩散模型，以生成全新路径点序列。相关工作包括：开发时序注意力机制的双臂策略网络、构建基于共享潜空间的对比学习框架以解耦单臂与双臂特征，以及利用经验重放技术从有限示范中提取可泛化的协调基元。这些进展共同加速了从演示数据到端到端机器人技能的映射，彰显了结构化数据集在连接理论与实际部署中的枢纽价值。