shirasu206/dual_arm_ur5e_ur3e_20260529_v27

该数据集是一个用于机器人控制的双机械臂数据集，包含UR5e和UR3e机械臂的观测和动作数据。数据集通过LeRobot工具创建，总共有2个任务、2个episodes和556帧数据，帧率为5fps。数据特征包括：基础图像（224x224x3视频）、UR5e图像（224x224x3视频）、UR3e图像（224x224x3视频）、状态观测（14维浮点数，表示两个机械臂的关节角度和夹爪状态）、动作（14维浮点数，对应机械臂的控制指令），以及时间戳、帧索引、episode索引、任务索引等元数据。数据集以Parquet格式存储，适用于机器人学习任务，如模仿学习或强化学习。This dataset is a dual-arm robotics dataset for robot control, containing observation and action data from UR5e and UR3e robotic arms. It was created using the LeRobot tool, with a total of 2 tasks, 2 episodes, and 556 frames at 5 fps. Features include: base image (224x224x3 video), UR5e image (224x224x3 video), UR3e image (224x224x3 video), observation state (14-dimensional float values representing joint angles and gripper states for both arms), action (14-dimensional float values for control commands), along with metadata such as timestamp, frame index, episode index, and task index. The data is stored in Parquet format and is suitable for robotics learning tasks like imitation learning or reinforcement learning.

搜集汇总

数据集介绍

构建方式

该数据集采用LeRobot框架进行构建，通过双机械臂平台（UR5e与UR3e）协同采集而成。数据采集过程中，系统以5帧/秒的频率记录机器人状态与操作动作，包含556帧时序数据，涵盖2个完整任务回合。数据以Parquet格式存储于分块文件中，并辅以H.264编码的224×224分辨率视频流，分别记录基座视角、UR5e末端视角及UR3e末端视角的视觉信息。

特点

该数据集聚焦于双臂协作场景，同时记录UR5e与UR3e共12个关节角度及2个夹爪开合状态，形成14维状态空间与动作空间的高维对应关系。所有特征均标注了时间戳、帧索引与任务索引，确保了时序一致性与任务可追溯性。数据规模虽小但结构完整，适用于验证双臂协同控制算法的原型开发与性能评估。

使用方法

数据集提供了预计算法的可视化工具，可通过LeRobot内置的交互式可视化界面直接浏览各任务回合的视觉与状态序列。用户可加载Parquet文件提取状态与动作张量，结合视频帧构建端到端的模仿学习或强化学习训练管道。数据分块设计支持高效流式读取，适合使用PyTorch或TensorFlow等框架进行模型训练与评估。

背景与挑战

背景概述

近年来，机器人操作领域的模仿学习研究日益依赖于高质量、多模态的数据集。该数据集由研究者在2026年5月29日创建，依托LeRobot开源框架，以双机械臂协作场景为核心，聚焦于UR5e与UR3e两款工业级机械臂的协同控制。数据集总计包含2个任务片段、556帧的视觉与状态动作信息，通过基线摄像头及机械臂末端摄像头采集224×224像素的RGB图像，并记录14维关节状态与对应动作数据。作为双机械臂协作数据集领域的早期尝试，它为研究双臂协同操作策略、多视角感知融合等方向提供了基础性资源，尤其适用于验证小样本条件下的模仿学习算法，推动工业机器人智能化协作的发展。

当前挑战

该数据集所解决的领域问题在于，现有机器人数据集多聚焦于单臂操作，缺乏面向双机械臂协作场景的高质量、标准化数据资源。构建过程中面临多重挑战：一是双臂协同的复杂动力学引入状态-动作空间维度剧增，14维度的关节与夹爪参数需要精准同步记录；二是视觉感知层面需同时融合基座广角与双臂末端多视角图像，存在时间戳对齐与空间坐标映射的困难；三是在仅有556帧的小规模样本下，需保证任务演示的完整性与动作质量，避免数据稀疏导致的策略泛化能力不足。此外，采集环境、光照与目标物体差异等现实因素也增加了数据的一致性与鲁棒性维护难度。

常用场景

经典使用场景

在机器人模仿学习与行为克隆研究中，该数据集作为双机械臂协同操作的经典范例，为算法提供了多视角视觉观测与高精度关节状态信息。借助LeRobot框架采集的真机执行数据，研究人员能够训练从视觉输入到14维关节动作的端到端映射模型，特别适用于需要双臂协调配合的复杂操作任务。

衍生相关工作

该数据集催生了多项基于LeRobot开源生态的创新工作，包括面向双臂系统的因果推理模型、融合视觉与力觉的残差动作学习框架，以及利用扩散策略生成平滑协作轨迹的方法。研究者通过该数据集验证了预训练视觉表征在双臂微调任务中的有效性，并开发出针对UR5e与UR3e异构机械臂的联合运动规划算法。

数据集最近研究

最新研究方向

随着具身智能与机器人学习领域的迅猛发展，基于UR5e与UR3e双臂协作平台的高精度操作数据集正成为模仿学习与策略泛化研究的核心驱动力。该数据集依托LeRobot框架采集了2个任务片段、共计556帧的双机械臂视觉-运动序列，涵盖14维关节状态与动作标签，为双臂协同控制、精细抓取与多任务策略迁移提供了标准化数据基准。当前前沿研究方向聚焦于利用此类规模虽小但信息密度高的双臂数据集，结合扩散策略或transformer架构进行端到端模型训练，探索少样本下的任务泛化能力；同时，由于数据集采用Apache-2.0开源协议，其与Hugging Face生态的深度集成（如可视化工具及Parquet格式存储）极大降低了研究门槛，推动了机器人领域开放数据集与可复现基准的建立，对理解双臂协调机制及迁移学习范式具有里程碑意义。