shirasu206/dual_arm_ur5e_ur3e_20260529_v33

该数据集是一个机器人学数据集，专注于双臂机器人系统，具体使用UR5e和UR3e机器人。数据集通过LeRobot工具创建，包含30个episodes，总计18662帧数据，帧率为15fps。数据以parquet格式存储，并包括以下特征：观测数据（如基础图像、UR5e图像和UR3e图像，均为224x224x3的视频格式）、机器人状态向量（14维浮点数，表示UR5e和UR3e的关节角度和夹爪状态）、动作向量（14维浮点数，对应机器人的控制指令），以及时间戳、帧索引、episode索引等元数据。数据集仅包含训练分割，适用于机器人控制和学习任务。This dataset is a robotics dataset focused on a dual-arm robot system, specifically using UR5e and UR3e robots. It was created using the LeRobot tool and contains 30 episodes with a total of 18,662 frames at a frame rate of 15fps. The data is stored in parquet format and includes features such as observations (e.g., base image, UR5e image, and UR3e image, all in video format with dimensions 224x224x3), robot state vectors (14-dimensional floats representing joint angles and gripper states for UR5e and UR3e), action vectors (14-dimensional floats for robot control commands), and metadata like timestamps, frame indices, and episode indices. The dataset only includes a training split and is suitable for robot control and learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，专为双机械臂协同作业场景设计，整合了UR5e和UR3e两款工业机器人平台。数据采集过程中，系统同步录制了来自基底摄像头及两机械臂末端视角的RGB视频流，并以15帧/秒的速率采样，确保时间维度上的连续性。同时，每帧记录了两机械臂的七维关节状态（包括六个关节角度与一个夹爪状态）及对应的十四维动作指令，最终将原始数据封装为Parquet格式的块文件，辅以H.264编码的压缩视频，形成了包含30个完整演示片段、总计18662帧的结构化数据集。

特点

数据集最显著的特性在于其多模态异构数据的精密对齐：三路224×224像素的视觉观测与14维的状态-动作空间紧密耦合，完整呈现了双机械臂在协作任务中的动力学行为。全部30个演示序列专注于单一任务类型，训练集覆盖所有片段，保证了任务一致性与数据纯净度。此外，Apache-2.0许可协议赋予学术界与工业界自由使用与再分发的权利，而数据分块与视频分离的存储策略，则兼顾了大规模数据加载的效率与灵活性。

使用方法

研究者可通过LeRobot库直接加载该数据集，利用预设的default配置自动识别数据路径。加载后，系统返回包含观测图像、关节状态、动作指令及时间戳等字段的字典结构，便于与模仿学习或强化学习流水线无缝集成。推荐将30个episode按帧序列组织，借助LeRobot的数据集可视化工具进行播放验证，或通过其提供的采样器按episode索引抽取帧，以构建训练批次。视频数据以H.264编码存储，需配合OpenCV或PyAV解码以获取原始像素阵列。

背景与挑战

背景概述

随着协作机器人技术的飞速发展，双臂协同操作在精密装配、医疗辅助及柔性制造等领域展现出广阔的应用前景。然而，双臂系统的数据采集与策略学习面临高维度状态空间与复杂协调控制的严峻考验。在此背景下，由shirasu206团队于2025年构建的“dual_arm_ur5e_ur3e_20260529_v33”数据集应运而生。该数据集基于LeRobot框架，整合了UR5e与UR3e两款工业级协作机械臂，共包含30个演示回合、18662帧视觉与状态数据，以及14维关节动作空间，致力于为双臂机器人模仿学习与强化学习提供标准化的基准资源。其开源特性（Apache-2.0许可）与结构化存储方式，显著降低了双臂协同研究的数据门槛，对推动机器人技能泛化与多智能体协调控制领域的发展具有重要影响。

当前挑战

该数据集所应对的核心领域挑战在于双臂协同操作的策略学习问题，即如何从高维异构传感数据中提取鲁棒的协调控制策略，以完成复杂任务。具体而言，UR5e与UR3e分别拥有6个自由度及末端夹具，导致联合状态与动作空间达到14维，远超市面常见的单臂数据集；而30个回合的有限样本量进一步加剧了模型过拟合与泛化瓶颈。在数据集构建过程中，挑战主要体现在多视角视觉记录的一致性上——利用H.264编码的224×224分辨率视频需在15帧/秒的低采样率下同步捕获三路图像（base、UR5e、UR3e），同时确保状态数据与动作序列的精确对齐，这对硬件触发与数据管道设计提出了严苛要求。

常用场景

经典使用场景

在机器人学习与具身智能研究领域，双机械臂协同操作一直是极具挑战性的课题。该数据集专为UR5e与UR3e双机械臂系统设计，提供了包括基础图像、各机械臂专属视觉反馈以及14维状态-动作空间在内的丰富观测信息。其经典使用场景集中于模仿学习与行为克隆任务，研究者可通过30条高质量示范轨迹，借助LeRobot框架高效训练双机械臂的协同操作策略。数据集以15帧/秒的稳定频率记录，包含224×224像素的视觉数据，为端到端的策略学习提供了坚实的基础。这种精细化的数据采集方式，使得模型能够有效捕捉双臂协同过程中的时序依赖与空间协调关系，成为验证新型模仿学习算法性能的理想基准。

衍生相关工作

基于该数据集的典型研究已衍生出多项创新工作。在算法层面，研究者以该数据为训练素材，开发了面向双臂系统的隐式策略与扩散策略，显著提升了长时序操作的成功率。在硬件方向，衍生工作探索了如何将UR5e与UR3e的示教数据泛化至不同构型的双机械臂平台，验证了基于特征的域自适应方法。此外，该数据集也催生了多任务学习框架的改进，例如通过解耦双臂注意力机制，实现了主从机械臂角色的动态切换。在开源社区中，基于该数据的工作成果已成为LeRobot生态中双机械臂应用的重要参考案例，持续推动着具身智能从仿真到真实世界的知识迁移。

数据集最近研究

最新研究方向

当前，双臂协作机器人在复杂工业装配与精密操作任务中扮演着愈发关键的角色，而高质量的数据集则是驱动其技能学习与行为泛化的核心基石。该数据集聚焦于UR5e与UR3e的双臂协同场景，通过采集包含关节状态、末端夹持及多视角视觉在内的14维动作与观测信息，为模仿学习与强化学习算法提供了标准化的训练素材。其前沿研究方向紧扣具身智能的热点浪潮，着重探索如何利用此类精细化的遥操作数据，赋能机器人从单一任务执行迈向自适应、可迁移的协作技能习得，尤其是在精准力控与动态避碰等实际应用场景中，该数据集的发布无异于为双臂系统从实验室走向柔性制造等现实部署注入了关键的数据动力。