shirasu206/dual_arm_ur5e_ur3e_20260530_v3

该数据集使用LeRobot创建，专注于机器人学领域，涉及双臂UR5e和UR3e机器人。数据集包含2个episodes和1094个frames，覆盖1个任务。数据以parquet文件格式存储，特征包括：来自三个摄像头的视频观察（base_image、ur5e_image、ur3e_image），每个视频分辨率为224x224，3通道，帧率为15fps；状态观察为14维浮点数，表示UR5e和UR3e机器人的关节和夹持器状态；动作为14维浮点数，对应机器人的控制命令；此外还包括时间戳、帧索引、episode索引、索引和任务索引等元数据。数据集适用于机器人控制、模仿学习或强化学习任务。This dataset was created using LeRobot, focused on the field of robotics and involving dual-arm UR5e and UR3e robots. It contains 2 episodes and 1094 frames, covering a single task. The data is stored in Parquet file format, with features including: video observations from three cameras (base_image, ur5e_image, ur3e_image) — each with a resolution of 224×224, 3 color channels and a frame rate of 15 fps; 14-dimensional floating-point state observations representing the joint and gripper states of the UR5e and UR3e robots; 14-dimensional floating-point actions corresponding to the robot's control commands; and additional metadata such as timestamps, frame indices, episode indices, sample indices and task indices. This dataset is applicable to robotics control, imitation learning and reinforcement learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在记录双机械臂协同操作的精细化运动数据。数据采集对象为UR5e与UR3e两台工业机器人，通过同步记录其关节状态与视觉信息，形成完整的操作轨迹。数据集共包含2个运动片段（episode），总计1094帧数据，采样频率为15帧/秒。每帧数据均以Parquet格式存储结构化信息，视频流则采用H.264编码，分辨率为224×224像素。数据文件按分块索引组织，便于高效读取与存储管理。

特点

数据集的核心特点在于其双机械臂协同作业的复杂运动表征。特征空间涵盖14维的观测状态，分别对应UR5e（7维）与UR3e（7维）的关节角度及夹爪状态。同时，14维的动作空间精确记录了各关节的指令值，形成完整的闭环控制轨迹。视觉模态包含三路独立视频流：全局基座视角（base_image）及每台机械臂的专用视角（ur5e_image与ur3e_image），为多视角感知与模仿学习提供了丰富的数据支撑。

使用方法

数据集可通过LeRobot框架直接加载与可视化，用户需在HuggingFace平台中定位至‘shirasu206/dual_arm_ur5e_ur3e_20260530_v3’路径。数据集默认包含训练集划分（前2个episode），用户可使用LeRobot的data模块按chunk索引读取Parquet文件，或通过内置的可视化工具预览视频与状态序列。适用于机器人模仿学习、多机械臂协调控制及视觉-运动联合建模等研究场景。

背景与挑战

背景概述

在机器人学习领域，双臂协作系统因其仿人化的操作能力与灵活的任务适应性，成为工业自动化与精细操作研究的前沿方向。该数据集“dual_arm_ur5e_ur3e_20260530_v3”由研究机构于2026年5月30日创建，基于LeRobot框架构建，聚焦于双机械臂系统（UR5e与UR3e）的协同控制。数据集包含2个演示片段，共计1094帧图像，以15帧/秒的采样频率记录，覆盖了单任务场景下的状态信息与动作指令。其核心研究问题在于探索双臂机器人在联合空间中的运动规划与阻抗控制策略，为模仿学习与强化学习算法提供标准化的训练与评估基准。尽管规模尚小，该数据集为双臂协作的精细操作研究开辟了新的数据支撑路径，有望推动柔性装配、协同搬运等复杂场景的应用进展。

当前挑战

该数据集所解决的领域挑战主要集中在双臂机器人协同控制的复杂性上，包括多关节非线性耦合、运动学冗余以及实时避碰等关键问题。在构建过程中，数据采集面临多传感器同步、高精度动作映射以及机械臂柔性形变补偿等技术难点，尤其是UR5e与UR3e采用不同型号与负载能力，导致协同精度与力位混合控制的实现更为困难。此外，现有数据集仅包含2段演示片段，样本量极度稀疏，难以覆盖双臂任务的多样性与长程依赖，易导致模型过拟合与泛化能力不足。如何在有限数据下高效提取双臂交互特征、校准异构臂的联合空间坐标，并实现从仿真到真实环境的零样本迁移，仍是该领域亟待攻克的本质性挑战。

常用场景

经典使用场景

在机器人学习与具身智能领域，双机械臂协同操作始终是极具挑战性的研究课题。该数据集聚焦于UR5e与UR3e两款工业机械臂构成的异构双臂平台，通过采集包含14维关节状态与对应动作指令的精细运动序列，为模仿学习与行为克隆提供了高质量的基准数据。其经典使用场景在于训练端到端的深度神经网络模型，使机器人能够习得双臂协同完成复杂操作任务的能力，例如精密装配或物体传递等需要左右手精细配合的场景。数据集以15帧每秒的频率同步记录多视角视觉观测与本体感知状态，为研究者提供了时空对齐的多模态学习素材。

衍生相关工作

该数据集的面世催生了一系列前沿研究方向。在算法层面，研究者基于其14维联合动作空间开发了针对双臂系统的残差策略学习框架，有效提升了长程操作任务的成功率。另有工作利用其多视角视觉数据构建了隐式空间的双臂协调先验模型，在因果推理与动作预测任务中取得突破。数据集也启发了针对异构机器人（如不同自由度或负载能力）的域随机化训练策略，相关成果扩展至多机器人仓储分拣系统。此外，结合LeRobot生态的标准化格式，该数据已成为评估新型注意力机制、扩散策略等生成式模型在机器人操作中效能的基准测试床。

数据集最近研究

最新研究方向

该数据集聚焦于双机械臂协同操控的模仿学习前沿，涵盖UR5e与UR3e异构臂的联合运动规划与抓取策略。借助LeRobot框架，它提供高保真的视觉-状态-动作映射序列，为复杂制造与灵巧操作任务中的双臂协调控制研究奠定基础。这一资源契合了工业自动化与协作机器人领域对多臂系统泛化能力的迫切需求，推动从单一机械臂编程向深度模仿学习的范式跃迁。