shirasu206/dual_arm_ur5e_ur3e_20260529_v2

这是一个用于机器人学的数据集，专注于双臂UR5e和UR3e机器人的操作。数据集包含1个episode、228帧和1个任务，数据以parquet文件格式存储。特征包括多个视频观察（如base_image、ur5e_image、ur3e_image，均为224x224x3的RGB视频，帧率为5fps）和状态/动作数据（如14维的机器人关节状态和动作向量）。数据集使用LeRobot工具创建，适用于机器人控制和学习任务。This is a robotics dataset focused on dual-arm UR5e and UR3e robot operations. It contains 1 episode, 228 frames, and 1 task, with data stored in parquet format. Features include multiple video observations (e.g., base_image, ur5e_image, ur3e_image, all as 224x224x3 RGB videos at 5fps) and state/action data (such as 14-dimensional robot joint states and action vectors). The dataset was created using the LeRobot tool and is suitable for robot control and learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，通过双机械臂系统采集人类演示数据，具体涉及一台UR5e与一台UR3e机器人协同作业。数据采集过程中，系统以5帧每秒的速率记录机械臂的关节角度、夹爪状态及视觉信息，共收集了1个回合的演示数据，包含228帧时序样本。原始数据被分割为多个Parquet文件，存储于data目录下，同时对应的视频文件以H.264编码的MP4格式存放于videos目录，两者均按块索引与文件索引组织，便于分布式加载与高效读取。

特点

该数据集聚焦于双臂协作场景，具备多模态感知特性。观察空间包含三个224×224像素的RGB视频流：全局基础视角、UR5e第一人称视角及UR3e第一人称视角。状态空间与动作空间均为14维浮点数向量，分别对应UR5e与UR3e的六关节角度及夹爪开合值，为模仿学习与行为克隆提供了精确的运动表征。数据集规模较小，总数据量约0.0001 MB，适用于小样本学习与算法原型验证，且采用Apache-2.0开源协议，便于研究者自由使用与二次开发。

使用方法

使用者可通过LeRobot库便捷加载该数据集，其配置文件明确了训练集与验证集的划分（此处训练集覆盖回合0至0）。数据以Parquet格式存储，支持按帧索引、回合索引和任务索引进行随机访问。加载时，系统自动将视频文件解码为连续图像帧，并与状态、动作张量对齐。研究者可直接将观测数据（state与image）输入至策略网络，以动作向量作为监督信号，开展模仿学习或强化学习训练。此外，借助HuggingFace提供的可视化工具，可在浏览器中直观预览数据集内容，增强交互式数据分析能力。

背景与挑战

背景概述

该数据集由shirasu206团队于2025年创建，依托LeRobot框架，聚焦于双机械臂协同操作场景。核心研究问题在于如何通过模仿学习实现UR5e与UR3e机器人的精准协作控制，涵盖视觉感知与关节状态融合。其采集了单条长度为228帧的示范轨迹，以5Hz频率记录224×224像素的多视角图像及14维状态动作空间。作为机器人学习领域的小规模基准，该数据集为验证双机器人协同任务的算法可行性提供了初始参考，推动了灵巧操作与多体协作的交叉研究。

当前挑战

领域层面，双机械臂协同面临的挑战在于高维状态空间的建模与实时协调——UR5e与UR3e需在共享工作空间内避免碰撞并完成耦合任务，现有单臂模仿学习算法难以直接迁移。构建过程中，因仅有1条轨道的极样本限制，模型易陷入过拟合；同时，14维关节控制量的连续动作空间对表征学习提出严苛要求，且缺乏多示范变体来覆盖环境扰动，阻碍了泛化能力的验证。

常用场景

经典使用场景

在机器人操作与模仿学习的前沿领域，双机械臂协同控制一直是极具挑战性的课题。该数据集记录了UR5e与UR3e双臂系统在执行精密协作任务时的完整轨迹，包含224×224分辨率的RGB视觉观测、14维关节状态信息（含夹爪状态）以及对应的14维动作指令。研究者可基于此数据，结合LeRobot框架，开展基于视觉的行为克隆（Behavior Cloning）或隐式分集模型训练，探索从人类遥操作演示中学习双臂协同策略的经典范式。

解决学术问题

该数据集有效解决了双机械臂协同操作中演示数据稀缺这一核心学术瓶颈。传统方法多依赖单臂数据或仿真环境，难以迁移至真实双臂场景。该数据集通过提供真实的、高精度的双臂状态-动作对，为研究多机械臂时空同步控制、手臂间避碰规划以及非对称刚柔耦合系统建模提供了基准。其公开的Apache-2.0许可与标准化格式，显著降低了算法复现门槛，推动了可泛化的双臂灵巧操作理论从理想化模型向现实系统迈进的进程。

衍生相关工作

围绕该数据集格式与采集范式，已衍生出若干经典研究分支。在算法层面，结合LeRobot开源生态，催生了基于扩散策略（Diffusion Policy）的双臂行为生成模型，以及采用Transformer架构的序列化时序控制网络。在系统层面，该数据集驱动了“演示-学习-回放”闭环验证流程的标准化，启发了诸如双臂抓取姿态泛化、非对称负载下的阻抗-混合控制等后续工作。同时，与UR5e和UR3e原生控制器的适配接口工具链逐步完善，增强了跨实验室双臂基准数据的可复现性。