shirasu206/dual_arm_ur5e_ur3e_20260530_v10

该数据集是一个用于机器人控制的双机械臂数据集，使用LeRobot平台创建。数据集包含UR5e和UR3e两种机械臂的协同操作数据，共有31个episodes和20056个frames，数据以15fps的视频和状态动作对形式存储。观察数据包括三个摄像头的视频流（基础视角、UR5e视角、UR3e视角），每个视频分辨率为224x224，编码为h264；状态数据为14维浮点数，表示两个机械臂的关节位置和夹爪状态；动作数据同样为14维浮点数，对应控制命令。数据集结构还包括时间戳、帧索引、episode索引等元数据，适用于机器人学习和强化学习任务。This dataset is a dual-arm robotics control dataset created using the LeRobot platform. It involves collaborative operation data for UR5e and UR3e robotic arms, comprising 31 episodes and 20056 frames, with data stored as video and state-action pairs at 15fps. Observations include video streams from three cameras (base view, UR5e view, UR3e view), each with a resolution of 224x224 and encoded in h264; state data consists of 14-dimensional float values representing joint positions and gripper states for both arms; action data is also 14-dimensional float values corresponding to control commands. The dataset structure includes metadata such as timestamps, frame indices, and episode indices, making it suitable for robotics learning and reinforcement learning tasks.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，双臂协作系统的数据集构建是推动多机械臂协同控制研究的关键。该数据集基于LeRobot框架构建，利用UR5e和UR3e机械臂组成的双臂平台进行数据采集。数据集共包含31个训练回合（episode），总计20056帧数据，所有数据均划分为训练集使用。数据以分块形式存储于Parquet文件中，并辅以H.264编码的视频文件记录机械臂第一人称视角及基座视角的视觉信息，通过结构化索引实现对时序数据的高效管理。

特点

该数据集的核心特色在于其对双臂协同任务的完整描述。数据特征包含来自基座、UR5e与UR3e三个视角的224×224分辨率视频流，以及14维的关节状态与动作向量，分别对应双臂各关节角度与夹持器开合度。所有数据以15帧/秒的固定频率采集，确保时序信息的连续性。此外，数据集采用Apache-2.0许可证开放，便于学术研究中的复现与二次开发。

使用方法

用户可通过LeRobot库便捷地加载该数据集。系统已预设完整的训练/测试划分（全部31回合用于训练），支持直接调用数据加载器进行批量处理。在模型训练场景中，建议将观测图像与状态向量作为输入，14维动作向量作为监督信号。数据集兼容常见的模仿学习与强化学习框架，用户亦可利用HuggingFace提供的可视化工具预览具体回合的演示轨迹，快速验证数据质量。

背景与挑战

背景概述

该数据集由shirasu206团队基于LeRobot框架创建，发布于2025年6月，专注于双机械臂协同操控场景，采用UR5e与UR3e两款工业级协作机器人作为实验平台。核心研究问题在于构建高保真的多模态机器人演示数据集，以支持模仿学习与机器人操作技能的迁移。数据集包含31个演示片段，共计20056帧，以15帧/秒的采样频率记录，涵盖关节角度、末端夹爪状态及多视角视觉信息，为双臂协同任务提供了标准化训练基准。其遵循Apache-2.0开源协议，与LeRobot生态紧密集成，降低了机器人学习领域的数据获取门槛，有望推动双臂操作策略的泛化能力研究。

当前挑战

当前机器人学习领域面临的核心挑战在于双臂协同操作中的高维动作空间建模与跨机械臂的时空同步问题。该数据集虽提供14维状态空间（每臂6个关节角+1个夹爪）及对应动作序列，但演示数据规模有限（仅31条轨迹），且仅涵盖单一任务类型，难以支撑复杂协作工况下的策略泛化。此外，构建过程中需解决多传感器（RGB摄像头与关节编码器）的时间戳对齐难题，以及不同机械臂动态特性差异带来的数据一致性优化。数据集的视频分辨率（224x224）与压缩编码可能引入信息损失，影响精细操作策略的提取精度。

常用场景

经典使用场景

在机器人学与人工智能的交叉领域中，双机械臂协同控制是极具挑战性的研究方向。该数据集专为UR5e与UR3e双机械臂系统设计，收录了31个完整任务演示、逾两万帧的高频视觉与状态信息，为模仿学习、行为克隆等算法提供了标准化的训练与验证基准。其经典使用场景在于，研究者可借此数据训练端到端的神经策略，使双机械臂学会复杂的协同操作，如协同搬运、精密装配等任务。

实际应用

在工业自动化与智能制造的落地场景中，该数据集展现出广阔的应用前景。基于其数据训练的模型可被部署于产线中，实现双机械臂对脆弱工件的无损夹持、多部件同步装配等精细作业。在医疗辅助领域，其衍生的协调控制技术可用于手术机器人中，配合主从操作完成复杂缝合。此外，在物流分拣与家庭服务场景下，双臂协作能力亦能显著提升物体搬运的非结构化适应性与效率。

衍生相关工作

围绕该数据集，已涌现出多项开创性研究。例如，基于其高保真演示数据，研究者开发了面向双臂系统的扩散策略，有效提升了动作序列的平滑度与鲁棒性。另一经典工作则构建了跨模态对比学习框架，利用视觉与关节状态的对齐信息，显著增强了零样本迁移能力。此外，该数据集还催生了针对多机械臂场景的奖励函数学习范式，为复杂任务逆强化学习提供了关键验证平台。