shirasu206/dual_arm_ur5e_ur3e_20260530_v15

该数据集是一个用于机器人领域的双臂UR5e和UR3e机器人数据集，由LeRobot工具创建。数据集包含21个episodes，总计11651个frames，数据以parquet格式存储，视频帧率为15fps。观测数据包括三个224x224x3分辨率的RGB图像（分别来自基础视角、UR5e和UR3e摄像头），以及14维的机器人状态向量（涵盖UR5e和UR3e的关节角度和夹爪状态）。动作数据同样为14维，对应两个机器人的控制指令。数据集还包含时间戳、帧索引、episode索引等元数据，适用于机器人学习任务，如强化学习或模仿学习。This dataset is a dual-arm UR5e and UR3e robot dataset for robotics, created using the LeRobot tool. It contains 21 episodes with a total of 11651 frames, stored in parquet format with a video frame rate of 15fps. Observations include three RGB images at 224x224x3 resolution (from base, UR5e, and UR3e cameras) and a 14-dimensional robot state vector (covering joint angles and gripper status for both UR5e and UR3e). Actions are also 14-dimensional, corresponding to control commands for both robots. The dataset includes metadata such as timestamps, frame indices, and episode indices, making it suitable for robotics learning tasks like reinforcement learning or imitation learning.

搜集汇总

数据集介绍

构建方式

该数据集基于开源机器人学习框架LeRobot构建，旨在为双臂协作机器人操作任务提供标准化的训练与评估资源。数据采集自一台UR5e与UR3e组成的双臂机器人系统，通过远程操控或预设程序记录机器人的关节状态、末端夹爪动作以及多视角视觉观测信息。全部数据以Parquet格式存储于分块文件中，同时伴有MP4格式的同步视频流，完整保留了时间序列上的动作—观测对应关系。数据集共包含21个演示片段，总计11651帧，采样频率为15帧/秒，所有数据均按照训练集划分，适用于模仿学习与行为克隆等范式。

特点

数据集的突出特点在于其双臂协同操作的精细设计。观测空间涵盖三路224×224的RGB图像，分别对应全局视角、UR5e第一人称视角与UR3e第一人称视角，为多视角感知建模提供了丰富输入。状态与动作空间均为14维向量，精确对应每只机械臂的6个关节角度与1个夹爪开度，便于机器人运动学与动力学模型的直接应用。统一采用H.264编码的视频压缩策略，在保证视觉质量的同时有效降低了存储开销。此外，清晰的元信息描述与符合LeRobot规范的索引结构，使该数据集能够无缝接入主流的机器人学习流水线。

使用方法

使用者可通过LeRobot库中的数据集加载接口直接读取该资源，无需额外预处理。加载时需指定数据集标识符与配置名称，系统将自动解析Parquet文件中的动作、状态、图像与时间戳字段，并按帧索引返回整齐的张量批次。对于视觉输入，LeRobot提供了内置的解码与增强工具，支持灵活的图像归一化与尺寸调整。建议研究者以完整演示片段为单元进行训练与评估，利用内置的分割功能将21个片段按需划分为训练集与验证集。该数据集与HuggingFace的模型中心深度整合，方便用户直接在此数据集基础上微调预训练策略或发布新基准。

背景与挑战

背景概述

在机器人学习领域，双臂协作系统的研究日益受到关注，因其在复杂工业装配、精密医疗操作及家庭服务等场景中展现出独特优势。该数据集由shirasu206团队于2025年基于LeRobot框架创建，聚焦于UR5e与UR3e两款机械臂组成的双臂系统，旨在为模仿学习与强化学习提供标准化训练语料。数据集包含21个episode，共计11651帧，以15帧/秒的速率采集了单任务场景下的高保真观测数据，涵盖224×224像素的RGB视觉输入及14维关节状态与动作序列。其发布为双臂协同控制算法的迁移学习与基线对比提供了可复现的基准，推动了机器人学习社区在非刚性交互、任务分解等方向的研究进展。

当前挑战

该数据集所面临的挑战主要体现在两个层面。在领域问题方面，双臂机器人需解决高维动作空间下的协同控制难题，包括两机械臂运动避碰、负载均衡及动态任务分配，而现有单臂控制范式难以直接迁移；同时，21个episode的规模限制了模型在复杂环境中的泛化能力。在构建过程中，数据采集需精确同步两臂的14维关节状态与多视角视觉信号，并处理因硬件差异导致的异步时序误差；此外，使用14维浮点动作向量直接表示联合运动，可能引入次优的探索轨迹，需后续通过正则化或数据增强技术缓解动作分布的稀疏性。

常用场景

经典使用场景

在机器人学习与模仿的学术版图中，双机械臂协同控制一直是极具挑战的课题。该数据集以UR5e与UR3e构建的双臂平台为基石，采集了21个完整轨迹片段，共计11651帧时序数据，涵盖224×224像素的多视角视觉观察与14维关节状态和动作序列。研究者可借此训练从视觉输入到双臂动作映射的深度模仿学习模型，例如基于扩散策略或Transformer架构的行为克隆算法，从而实现精确的双臂协作操作。

衍生相关工作

围绕该数据集的一系列衍生工作蔚为壮观。LeRobot社区基于其标准格式展开了开放源码的算法评估，催生了如基于扩散策略的双臂协作技能学习框架。此外，数据集中多视角视觉记录催生了视觉-运动联合预训练的研究方向，相关成果包括利用对比学习增强双臂动作表征的工作。双臂多模态数据融合技术的推进，亦促使了融合触觉与视觉信息的双臂控制策略论文涌现。

数据集最近研究

最新研究方向

当前，随着具身智能与机器人学习领域的蓬勃发展，面向复杂多臂协作场景的高质量数据集成为驱动算法突破的关键基石。该数据集以双UR5e与UR3e机械臂为硬件平台，依托LeRobot框架采集并标准化了涵盖14维关节状态与动作空间的精细操作数据，其每帧观察融合了多视角视觉信息与机器人本体状态。这一资源紧密贴合了前沿研究中模仿学习与离线强化学习对大规模、多模态演示数据的迫切需求，尤其在双臂协同任务——如精密装配、柔性材料操控等需要空间协调与力交互的场景中，为训练泛化能力更强的机器人政策提供了重要的数据支撑。它还顺应了开源社区推动机器人研究可复现性与共享化的趋势，有望加速从单一臂操作向复合多臂任务规划的范式演进。