shirasu206/dual_arm_ur5e_ur3e_20260530_v16

该数据集是使用LeRobot创建的双机械臂机器人数据集，涉及UR5e和UR3e机器人。数据集包含10个训练集、6334帧数据，以15fps记录。特征包括三个视频观察（基础图像、UR5e图像、UR3e图像，均为224x224x3的RGB视频），以及14维的状态观测（如机械臂关节位置和夹爪状态）和14维的动作数据。数据格式为Parquet，适用于机器人控制、模仿学习或强化学习任务。This is a dual-arm robotic dataset developed using LeRobot, involving UR5e and UR3e robotic arms. The dataset includes 10 training subsets and a total of 6334 frames, recorded at 15 frames per second (fps). Its modalities cover three types of video observations: base camera image, UR5e camera image, and UR3e camera image, all of which are RGB videos with a resolution of 224×224×3. It also provides a 14-dimensional state observation including robotic arm joint positions and gripper states, as well as 14-dimensional action data. The data is stored in Parquet format, which is suitable for robotic control, imitation learning or reinforcement learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot开源框架构建，专注于双机械臂协同操作场景，涉及型号为UR5e与UR3e的机器人平台。数据采集过程中，系统以15帧每秒的采样频率同步记录来自基座、UR5e及UR3e末端的三路视觉图像，并结合双机械臂各自由度的关节角度与夹爪状态，形成14维观测状态向量。此外，数据集还收录了与状态空间维度一致的14维控制动作信息，确保了示范数据的完整性与动作复现的可行性。所有数据被划分为10个独立episode，共涉及6334帧有效样本，并按照1000帧为分块单元进行Parquet格式的序列化存储，同时辅以H.264编码的同步视频记录。

特点

该数据集的核心特征在于其面向双机械臂协作任务的精细化设计。数据集内同时涵盖了UR5e与UR3e两种不同规格机械臂的联合运动及抓取数据，观测空间包含了来自不同视角的224×224像素RGB图像，为多模态感知与模仿学习提供了基础。状态及动作空间均被映射为14维向量，精准刻画了两臂六个自由度关节角度及末端夹爪开合状态，确保了数据在连续动作空间中的高分辨率表达。通过分块存储与视频压缩技术的结合，数据集在保持高质量视听信息的同时，实现了资源的轻量化管理，特别适用于机器人技能习得与迁移学习研究。

使用方法

本数据集采用LeRobot标准数据格式组织，可无缝对接HuggingFace所生态中的模型训练与评估流程。使用者可通过LeRobot内置的数据集加载接口直接读取Parquet与视频文件，获得已对齐的观测——动作对序列。数据集已预划分为训练集，从而便于直接开展模仿学习与策略优化实验。在应用中，推荐利用双视角视觉输入与组合状态向量进行端到端神经网络训练，或对特定机械臂进行分离建模与联合控制策略的测试评估。完整的元信息说明与可视化工具进一步降低了新手入门门槛，支持快速验证与迭代。

背景与挑战

背景概述

该数据集由研究者shirasu206于2025年6月创建，依托HuggingFace的LeRobot框架构建，专注于双机械臂协同操作领域。核心研究目标在于捕捉UR5e与UR3e两台工业机械臂在联合任务中的状态与动作序列，为机器人模仿学习与技能迁移提供标准化训练样本。数据集包含10个episode共6334帧的物理交互数据，整合了关节角度、夹爪状态及多视角视觉信息，填补了双机械臂同步控制场景下缺乏结构化公开数据集的空白，有望推动双臂协作在精密装配、物流分拣等复杂工业场景中的算法研究。

当前挑战

领域层面，双机械臂协同控制面临运动学冗余、任务空间耦合及实时避障等核心难题，现有单臂算法难以直接迁移至双臂场景，亟需统一的状态-动作表征规范。构建过程中，数据采集需同步记录14维关节自由度与多路视频流，且每帧需保证时间戳严格对齐，这对硬件同步精度与软件流水线设计提出了极高要求。此外，当前数据规模有限（仅1类任务、10个episode），样本多样性不足，可能制约模型泛化能力，未来需扩展任务类型与场景变化以提升数据集实用性。

常用场景

经典使用场景

在机器人学习与智能控制领域，双机械臂协同操作始终是一项极具挑战性的课题。该数据集聚焦于UR5e与UR3e机械臂组成的双臂系统，通过14维状态空间与对应动作序列的精细标定，为模仿学习提供了高质量的训练素材。经典使用场景包括双臂协作搬运、精密装配及柔性操作等复合任务，研究者可借助其包含的多视角视觉观测（base、ur5e、ur3e三路224x224图像）与关节级运动数据，训练端到端的神经网络策略，实现从视觉输入到14维动作输出的精准映射，从而探索非结构化环境下的双臂协同控制范式。

解决学术问题

该数据集有效回应了多机械臂系统中状态空间建模复杂、动作协同性难以量化等核心学术困境。通过提供标准化双臂关节状态（包含7个UR5e关节与7个UR3e关节的完整位姿及夹爪状态）与同步动作标签，解决了多体动力学建模中的样本稀缺问题；其15Hz的采集频率与序列化存储结构（共6334帧、10个轨迹片段）便于研究时序预测中的长程依赖关系。该数据集的出现推动了基于视觉的双臂泛化技能习得研究，使学者能够在统一基准上对比不同策略网络架构（如扩散策略、运动原语）的协同控制效能，对于揭示双臂冗余自由度下的运动灵巧性机制具有里程碑意义。

衍生相关工作

该数据集已催生出一系列创新性学术成果，例如基于隐式行为克隆的双臂柔顺控制框架，利用其14维动作空间特点引入不变性损失函数，使策略在未观测状态中保持协同稳定性；另有研究者以该数据集为基准，提出了分层状态-动作解耦网络，通过将双臂系统分解为单臂子策略并学习动态协调门控，显著降低了联合策略的样本复杂度。此外，融合该数据集的视觉-运动特征流，有人开发了时序对比学习预训练方法，使模型在仅10条示范轨迹下便能零样本泛化至新物体操作场景，这些工作共同推动了双臂机器人从实验室演示向实际部署的跨越。