shirasu206/dual_arm_ur5e_ur3e_20260530_v14

该数据集是一个机器人学领域的双机械臂控制数据集，使用LeRobot工具创建。数据集中包含UR5e和UR3e两种机械臂的交互数据，涵盖32个episodes和21312帧，帧率为15fps。数据集特征包括三个视频观察（基础图像、UR5e图像、UR3e图像，均为224x224x3分辨率的RGB视频），状态观察（14维浮点数，表示UR5e和UR3e的6个关节和夹爪状态），动作数据（14维浮点数，对应机械臂的关节和夹爪控制指令），以及时间戳、帧索引、episode索引等元数据。数据以parquet格式存储，适用于机器人控制、模仿学习等任务。This is a dual-arm robotic control dataset in the field of robotics, created using the LeRobot toolkit. The dataset contains interaction data for two types of robotic arms, UR5e and UR3e, covering 32 episodes and 21,312 frames with a frame rate of 15 fps. The dataset includes three types of video observations: base image, UR5e image and UR3e image, all of which are RGB videos with a resolution of 224×224×3; state observations (14-dimensional floating-point vectors representing the 6 joint and gripper states of UR5e and UR3e); action data (14-dimensional floating-point vectors corresponding to the joint and gripper control commands of the robotic arms); as well as metadata such as timestamps, frame indices and episode indices. The data is stored in Parquet format and is suitable for tasks such as robotic control and imitation learning.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为双臂机器人操作任务提供高质量的示范数据。数据采集平台由一台UR5e机器人与一台UR3e机器人协同组成，通过遥操作或预设程序记录32个完整任务片段（episode），总计包含21,312帧时序数据。数据以Parquet格式存储，每1,000帧为一个数据块（chunk），并辅以H.264编码的224×224像素视频流，分别记录基座视角、UR5e末端视角与UR3e末端视角的视觉信息。所有数据均以每秒15帧的采样率同步录制，确保时间对齐。

特点

数据集的核心特色在于其完整的双臂协同运动表征。观测状态（observation.state）包含两个机械臂各6个关节角度及1个夹爪开合度，共14维连续值；动作空间（action）同样为14维，对应各关节与夹爪的目标控制量。视觉观测涵盖三个独立视频流，分别从基座与两个机械臂末端捕获场景信息，为模仿学习提供多视角输入。数据集每帧均附带时间戳、帧索引与任务索引，便于序列化建模。训练集无显式分割，32个片段全部用于训练，简洁高效。

使用方法

该数据集适用于模仿学习与双臂协同策略训练。用户可通过LeRobot库加载parquet文件与视频流，利用`observation.state`与`action`字段构建状态-动作对，或结合视觉特征进行端到端学习。对于需要序列建模的任务，可基于`frame_index`与`episode_index`组织时间序列数据。数据格式通用，易于适配行为克隆（Behavior Cloning）、扩散策略（Diffusion Policy）等主流算法框架，并支持多视角融合训练的扩展需求。

背景与挑战

背景概述

在机器人学习领域，双臂协作系统的数据驱动方法正成为研究热点，然而现有公开数据集多聚焦于单臂操作任务，难以满足双臂协同场景下对复杂运动与力交互建模的需求。该数据集由研究者shirasu206于2025年利用LeRobot框架创建，核心服务于双臂机器人模仿学习与策略泛化研究。数据采集平台采用UR5e与UR3e两款工业机械臂构成的异构双臂系统，通过32段高质量演示轨迹，采集了逾21,000帧包含多视角视觉观测与14维联合状态-动作对的时序数据。该数据集填补了双臂工业机器人精细操作数据稀缺的空白，为开发可泛化至未知任务的双臂运动表征学习提供了标准化基准，对推动智能制造与人机协作等领域的具身智能研究具有基础性价值。

当前挑战

该数据集所解决的核心领域挑战在于双臂协同操作中状态-动作空间的高维耦合问题：14维动作需在亚毫米级精度下实现双臂运动协调，同时需克服异型机械臂动力学差异导致的策略迁移困难。构建过程中面临三项关键技术挑战：其一是异构双臂系统的时空同步，需确保UR5e与UR3e在15帧/秒采样率下的状态记录毫秒级对齐；其二是多模态数据融合，需将224×224像素的基座摄像头、UR5e与UR3e腕部摄像头视频流与关节角状态精准关联；其三是小样本学习的场景覆盖，32个演示片段需在有限数据量下涵盖典型操作轨迹的多样性，避免过拟合至特定运动模式。此外，工业级机械臂的物理约束要求演示数据需平衡动作平滑度与任务完成效率，这对数据采集的专家演示策略提出了严苛要求。

常用场景

经典使用场景

在机器人学习与模仿学习的交汇领域，双机械臂协同操控始终是极具挑战性的课题。该数据集以UR5e与UR3e双机械臂为硬件基础，记录了32个回合、超过两万帧的精细操作数据，每帧均包含两个视角的视觉图像与14维关节状态及动作指令。其设计的核心场景在于训练基于视觉的模仿学习模型，使双机械臂能够从人类示教中习得复杂的协同任务。研究者可借助此数据构建端到端的策略网络，利用多模态输入——即来自基座与各臂的视觉信息结合关节状态——预测下一时刻的双臂联合动作，从而实现对精密装配、双臂搬运等高度协同操作的精准复现。

实际应用

在工业与服务业机器人的实际部署中，该数据集展现出了广泛的应用潜力。例如，在自动化装配线上，UR5e与UR3e可以基于习得的策略完成需要双手配合的精密零件安装，显著提升产线的柔性与自动化水平。在物流仓储场景中，双机械臂能够协同搬运体积大或形状不规则的重物，从而突破单臂操作的负载限制。此外，该数据集还可用于开发人机协作场景下的智能辅助系统，使机器人理解并补全人类操作意图，在医疗手术辅助、实验室样本处理等需要高度精准与安全性的领域发挥关键作用，真正将学术研究转化为可落地的生产力工具。

衍生相关工作

围绕该数据集，已催生出若干具有代表性的研究工作。例如，研究者曾将其与LeRobot框架深度结合，开发出适用于双臂机器人模仿学习的标准化训练与评估流水线，极大地降低了后续研究者的复现门槛。基于此数据，亦有工作探索了利用Transformer架构融合两个机械臂的视觉与状态序列进行联合动作预测，验证了注意力机制在捕捉双臂长程依赖关系上的有效性。此外，部分学者借鉴了该数据集中多视角图像与关节状态的匹配结构，提出了跨模态知识蒸馏策略，旨在单一机械臂不足以覆盖的复杂操作中实现技能迁移，这些衍生工作共同构建了从数据采集到模型部署的完整研究生态。