shirasu206/dual_arm_ur5e_ur3e_20260530_v7

该数据集是一个用于机器人任务的双臂机器人数据集，使用LeRobot工具创建。数据集包含22个episodes，总计12745帧，帧率为15fps。机器人类型为双UR5e和UR3e机械臂，数据集中包含多种特征：观测数据包括基础图像、UR5e图像和UR3e图像（均为224x224x3的视频帧），以及14维的机器人状态（包括UR5e和UR3e的关节角度和夹爪状态）；动作数据为14维的控制指令（对应两个机械臂的关节和夹爪动作）。此外，还包含时间戳、帧索引、episode索引等元数据。数据以parquet格式存储，视频以MP4格式存储，适用于机器人学习和控制任务。This dataset is a dual-arm robot dataset for robotics tasks, created using the LeRobot tool. It includes 22 episodes with a total of 12,745 frames at a frame rate of 15fps. The robot type consists of dual UR5e and UR3e robotic arms. The dataset features various observations: base image, UR5e image, and UR3e image (all as video frames of size 224x224x3), along with a 14-dimensional robot state (including joint angles and gripper states for both UR5e and UR3e). Action data consists of 14-dimensional control commands (corresponding to joint and gripper actions for both arms). Additionally, metadata such as timestamps, frame indices, and episode indices are included. The data is stored in parquet format, with videos in MP4 format, suitable for robot learning and control tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为双臂机器人操作研究提供标准化的训练与评估资源。数据采集于包含UR5e和UR3e机械臂的双臂机器人平台，通过精心设计的实验流程，共采集了22个完整操作回合（episode），累计12745帧高保真数据。每个回合均以15帧/秒的采样率录制，并将原始传感器数据与动作指令同步存储为Parquet格式文件，同时将多视角视觉观测编码为H.264视频流，确保了数据的高效压缩与回放完整性。

使用方法

数据集通过HuggingFace的LeRobot生态集成，支持便捷的视频可视化和离线加载。用户可借助LeRobot库的API直接按回合索引访问数据，或利用预设的训练/全量划分（train:0-22）进行模型训练。建议研究人员利用14维状态与动作对齐的特性，优先开展双臂协同策略的模仿学习实验，或基于多视角视频流进行视觉-运动联合表征的预训练。对于跨任务泛化研究，可结合任务索引字段扩展多任务学习场景。

背景与挑战

背景概述

双机械臂协同操作是机器人领域的前沿研究方向，其核心挑战在于如何在动态环境中实现双臂的精确同步与高效协作。该数据集由研究团队基于LeRobot框架构建，创建于2025年6月，包含UR5e与UR3e两款工业机器人协同作业的22个示范片段，共计12745帧视觉-状态-动作序列。数据集专注于单一任务场景，通过224x224分辨率的基座摄像头及机械臂末端摄像头采集多视角视觉信息，并记录14维关节状态与动作参数，为双臂协调控制提供了标准化的多模态训练数据。作为推动模仿学习与强化学习在复杂机器人系统中应用的重要资源，该数据集填补了双臂机器人操作数据集稀缺的空白，为研究双臂协同策略、空间约束下的运动规划以及多智能体协作算法提供了验证基准，在智能制造、精密装配及人机协作等领域具有潜在的影响力。

当前挑战

该数据集所解决的领域核心挑战在于双臂机器人的协同操作问题，包括双臂运动学约束下的路径规划、负载分配与碰撞避免，以及如何在非结构化环境中实现实时协调控制。构建过程中面临的挑战包括：多传感器数据的时空同步，需确保基座摄像头、UR5e与UR3e末端影像及关节力矩数据在15FPS下的精确对齐；高维动作空间（14自由度）导致的状态-动作映射复杂性与样本效率低下；数据集规模有限（仅22个片段），限制了模型的泛化能力与鲁棒性。此外，工业场景中任务标签的单一性（仅1种任务）使得迁移至其他应用时面临域适应挑战，需通过数据增强或仿真迁移加以缓解。

常用场景

经典使用场景

在机器人学习领域，双机械臂协同操控是极具挑战性的前沿课题。该数据集记录了UR5e与UR3e六自由度机械臂协同作业的完整轨迹，包含12745帧同步采集的视觉图像与14维关节状态数据。其经典应用在于训练基于模仿学习的双机械臂协作策略，研究人员可通过观察图像序列与动作标签的对应关系，让机器人学习如物体传递、精密装配等需要双臂精确配合的复杂技能。数据集以15Hz频率采集的224x224分辨率图像，为视觉运动策略提供了丰富的时空信息基础。

解决学术问题

该数据集有效回应了双机械臂系统研究中长期存在的两大难题：协同控制的耦合性与示范数据获取的高成本。通过提供22个完整回合的标准示范轨迹，它使研究者能够探索基于行为克隆或逆强化学习的方法，以端到端方式学习异构机械臂的联合动作映射。该数据集的发布突破了传统仅依赖单一机械臂的范式，为研究多体系统的运动协调机制、空间约束下的规划策略提供了标准化基准，有力推动了机器人学中“多智能体协作”这一核心问题的理论进展。

实际应用

在实际产业场景中，该数据集支撑着从精密电子元件组装到医疗手术辅助等需要高度协调的双臂操作任务。借助数据集训练的模型，UR5e与UR3e组合体可自主完成零件分拣、线束插接等工序，尤其在空间受限的工位上展现出比单臂系统更优越的灵活性与作业效率。在物流仓储领域，该方案可应用于包裹的分拣与打包，通过双臂协同实现物料的稳定抓取与安全转运，显著降低人工操作强度并提升自动化产线的可靠性。

数据集最近研究

最新研究方向

在协作机器人领域，双机械臂协同操作正成为智能制造与复杂任务自动化的核心研究方向。该数据集基于UR5e与UR3e两款主流协作机器人构建，通过LeRobot框架采集了22个回合、逾1.2万帧的高保真观察数据与动作指令，涵盖14维关节状态与动作空间，并配备多视角视觉输入。其精细的结构化设计为模仿学习、强化学习及多智能体控制算法提供了坚实的数据基础，尤其契合前沿的具身智能与机器人基础模型研究。随着大模型与机器人结合的浪潮兴起，此类高品质、开放许可的双臂数据集将显著推动从单一操作向协同作业范式的跨越，助力构建更灵巧、更泛化的通用机器人系统。