shirasu206/dual_arm_ur5e_ur3e_20260530_v2

该数据集是一个用于机器人学的双臂机器人数据集，使用LeRobot创建，涉及UR5e和UR3e机器人。数据集包含17个episodes，总计10383帧，帧率为15fps。数据以parquet文件存储，特征包括观察值（如base_image、ur5e_image、ur3e_image，均为224x224x3的视频数据）和状态信息（14维浮点数组，表示UR5e和UR3e的关节角度和夹爪状态），以及动作数据（14维浮点数组）。数据集适用于机器人控制、模仿学习等任务。This dataset is a dual-arm robotics dataset created using LeRobot, involving UR5e and UR3e robots. It contains 17 episodes with a total of 10383 frames at 15fps. The data is stored in parquet files and includes observations (e.g., base_image, ur5e_image, ur3e_image, all as video data with shape 224x224x3) and state information (a 14-dimensional float32 array representing joint angles and gripper states for UR5e and UR3e), as well as action data (a 14-dimensional float32 array). The dataset is suitable for tasks such as robot control and imitation learning.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，聚焦于双机械臂协同操作的机器人学习场景。数据采集平台由UR5e与UR3e两台工业机械臂组成，通过操作员远程操控或预设策略驱动，采集双臂在协作任务中的完整动作序列。数据集共收录17个有效片段（episodes），总计10383帧，帧率为15 FPS，所有数据被划分为训练集。原始数据以parquet格式存储于分块（chunk）文件中，同时存储对应的视频文件，确保时序观测与动作信息的完整对齐。

特点

数据集的一个显著特点是其多模态感知与动作空间的统一设计。观测部分包含三类视觉信息：全局基座视角（base_image）以及分别来自UR5e和UR3e机械臂本体的第一人称视角图像，图像分辨率均为224×224。状态与动作空间均为14维向量，分别对应双臂各6个关节位置与1个末端夹爪状态，结构对称。此外，数据集中还包含时间戳、帧索引、片段索引等辅助标注信息，便于进行时序建模与轨迹追踪。

使用方法

该数据集适用于基于模仿学习或强化学习的双机械臂协同操作任务研究。用户可通过LeRobot库中的数据集加载接口直接读取数据，支持按帧或按片段进行迭代。使用过程中，可以将视觉观测作为策略网络输入，同时利用14维状态向量与动作向量进行行为克隆或策略训练。数据集已提供完整的元信息配置文件（info.json），方便进行数据分割、格式转换及可视化验证。

背景与挑战

背景概述

随着机器人技术在工业自动化与协作场景中的深入应用，双臂协同操作成为提升任务灵活性与效率的关键方向。然而，现有数据集多聚焦于单臂操作或仿真环境，缺乏基于真实双臂机器人平台的高质量演示数据。在此背景下，由研究团队于2026年5月30日创建的dual_arm_ur5e_ur3e_20260530_v2数据集应运而生，该数据集依托LeRobot框架，采集自UR5e与UR3e双臂机器人平台，包含17个完整演示片段与10383帧同步观测数据，覆盖从关节状态到多视角视觉图像在内的多模态信息。该数据集旨在为双臂机器人的模仿学习与行为克隆研究提供标准化基准，推动真实环境下双臂协调策略的泛化与迁移，对双臂机器人学习领域具有重要的开创性意义。

当前挑战

该数据集所解决的领域核心挑战在于双臂机器人协同操作的复杂性问题，包括高自由度空间（14维关节状态）下的运动规划、双臂间运动耦合与避障协调，以及基于视觉反馈的实时闭环控制。在构建过程中，研究人员面临多重困难：首先，真实双臂系统的标定与同步采集需要解决不同机械臂控制频率与传感器时序的精准对齐问题；其次，数据集仅涵盖单个任务类型，样本总量偏少（17个片段），限制了模型在多样任务中的泛化能力；此外，视频数据以15帧/秒采集且分辨率为224×224，在高动态场景下可能丢失精细运动细节，对基于观测的模仿学习算法提出额外的时序建模要求。

常用场景

经典使用场景

在机器人学习与模仿学习领域，双机械臂协同控制始终是一项极具挑战性的课题。该数据集基于UR5e与UR3e两台工业机械臂构建，采集了17个回合、逾万帧的精细化操作轨迹，每帧均包含双机械臂的关节状态与末端夹爪信息，以及三路224×224的视觉观测。其经典使用场景在于为模仿学习算法提供高质量的示范数据，研究人员可借助行为克隆、扩散策略或隐式Q学习等框架，训练模型从人类演示中习得双机械臂的协同运动模式。数据集以15帧/秒的速率记录，紧凑的时空分辨率使算法能捕捉动态协同中的细微时序依赖，成为验证多体系统感知-行动闭环理论的关键基准。

实际应用

实际应用中，该数据集为工业场景下双机械臂的自动化部署提供了难得的训练素材。基于其高保真度演示数据，工程师可构建视觉伺服策略，驱动UR5e与UR3e在流水线上协同完成零件抓取、定位与装配等任务。借助LeRobot生态，数据可直接馈入迁移学习流水线，大幅缩减从仿真到真实的部署周期。在仓储物流领域，该数据集支持训练双臂协同拆垛与分类算法，提升多机协作的吞吐效率。此外，其开源属性降低了中小型企业引入智能机器人产线的门槛，使得非专业团队也能基于预训练模型快速定制专属协同操作方案，推动柔性制造迈向智能化。

衍生相关工作

基于该数据集，多个衍生产出已被学界与工业界采纳。研究团队围绕其示范数据，开发了专门针对双机械臂系统的逆强化学习评估框架，通过分析17个回合中的多峰奖励结构，提炼出协同任务中的隐式评价标准。另有工作在此基础上提出分层动作基元提取方法，将双臂联合动作分解为可复用的运动片段，显著提升了策略的泛化能力。LeRobot社区也以此数据集为模板，扩展了包含更多回合与多视角模态的数据集生成流程，催生了一批对比研究，探索不同网络架构在双臂控制任务中的表现。这些工作共同构筑了从数据到知识、从演示到智能的完整研究链条。