shirasu206/dual_arm_ur5e_ur3e_20260530_v13

该数据集是一个用于机器人学研究的双臂机器人数据集，使用UR5e和UR3e机器人创建。数据集包含50个剧集，总计27623帧，帧率为15fps。数据以训练集形式存在，涵盖一个任务。数据集包含多种特征：观测数据包括基础图像、UR5e图像和UR3e图像，均为224x224像素的RGB视频，编码为h264；观测状态包括14个浮点数，代表两个机器人的关节位置和夹爪状态；动作数据同样为14个浮点数，对应两个机器人的关节和夹爪控制；此外还包括时间戳、帧索引、剧集索引、索引和任务索引。数据以Parquet格式存储，视频以MP4格式存储。许可证：Apache-2.0 任务类别： - 机器人学 标签： - LeRobot - 双臂 - ur5e - ur3e - lerobot 配置项： - 配置名称：default 数据文件：data/*/*.parquet --- 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=shirasu206/dual_arm_ur5e_ur3e_20260530_v13"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **主页：** [待补充更多信息] - **论文：** [待补充更多信息] - **许可证：** Apache-2.0 ## 数据集结构 [meta/info.json](meta/info.json): json { "代码库版本": "v3.0", "机器人类型": "dual_arm_ur5e_ur3e", "总回合数": 50, "总帧数": 27623, "总任务数": 1, "分块大小": 1000, "数据文件大小（MB）": 0.0001, "视频文件大小（MB）": 0.0001, "帧率": 15, "数据集划分": { "训练集": "0:50" }, "数据路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "数据特征": { "观测.基础图像": { "数据类型": "视频", "形状": [ 224, 224, 3 ], "维度名称": [ "高", "宽", "通道数" ], "详细信息": { "视频.高度": 224, "视频.宽度": 224, "视频.编码格式": "H.264", "视频.像素格式": "YUV420P", "视频.是否为深度图": false, "视频.帧率": 15, "视频.通道数": 3, "是否含音频": false } }, "观测.ur5e机械臂图像": { "数据类型": "视频", "形状": [ 224, 224, 3 ], "维度名称": [ "高", "宽", "通道数" ], "详细信息": { "视频.高度": 224, "视频.宽度": 224, "视频.编码格式": "H.264", "视频.像素格式": "YUV420P", "视频.是否为深度图": false, "视频.帧率": 15, "视频.通道数": 3, "是否含音频": false } }, "观测.ur3e机械臂图像": { "数据类型": "视频", "形状": [ 224, 224, 3 ], "维度名称": [ "高", "宽", "通道数" ], "详细信息": { "视频.高度": 224, "视频.宽度": 224, "视频.编码格式": "H.264", "视频.像素格式": "YUV420P", "视频.是否为深度图": false, "视频.帧率": 15, "视频.通道数": 3, "是否含音频": false } }, "观测.机械臂状态": { "数据类型": "float32", "形状": [ 14 ], "维度含义": [ "ur5e_j0", "ur5e_j1", "ur5e_j2", "ur5e_j3", "ur5e_j4", "ur5e_j5", "ur5e_grip", "ur3e_j0", "ur3e_j1", "ur3e_j2", "ur3e_j3", "ur3e_j4", "ur3e_j5", "ur3e_grip" ] }, "动作指令": { "数据类型": "float32", "形状": [ 14 ], "维度含义": [ "a_ur5e_j0", "a_ur5e_j1", "a_ur5e_j2", "a_ur5e_j3", "a_ur5e_j4", "a_ur5e_j5", "a_ur5e_grip", "a_ur3e_j0", "a_ur3e_j1", "a_ur3e_j2", "a_ur3e_j3", "a_ur3e_j4", "a_ur3e_j5", "a_ur3e_grip" ] }, "时间戳": { "数据类型": "float32", "形状": [ 1 ], "维度含义": null }, "帧索引": { "数据类型": "int64", "形状": [ 1 ], "维度含义": null }, "回合索引": { "数据类型": "int64", "形状": [ 1 ], "维度含义": null }, "全局索引": { "数据类型": "int64", "形状": [ 1 ], "维度含义": null }, "任务索引": { "数据类型": "int64", "形状": [ 1 ], "维度含义": null } } } ## 引用 **BibTeX格式：** bibtex [待补充更多信息]

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，专注于双机械臂协同操作场景，采用了UR5e与UR3e两款工业机器人作为执行平台。数据集共收录50个操作回合，总计27623帧时序数据，存储为Parquet格式的压缩分块文件与H.264编码的同步视频流。数据采集以15帧/秒的稳定速率进行，每帧包含从机器人关节传感器与外部摄像头采集的观测信息，以及对应的14维动作指令。训练集与全集比例设定为0:50，便于直接用于行为克隆或模仿学习模型的训练。

特点

数据集的最大特色在于其双机械臂协同架构，观测空间同时融合了基础环境图像、UR5e与UR3e各自的关节视角视频，以及两臂共计14维的关节状态向量。动作空间同样为14维，精准映射至每个机械臂的六个关节自由度与夹爪控制。视频分辨率统一为224×224像素，编码格式选用H.264以平衡画质与存储效率。此外，数据集中包含时间戳、帧索引、回合索引等元信息，支持精细的时序对齐与分段回放。

使用方法

用户可通过HuggingFace的LeRobot可视化界面直接预览数据集内容，或在Python环境中使用lerobot库加载。数据集默认配置为'default'，数据文件路径遵循'data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet'的命名规则，视频文件则存放于'videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4'。研究人员可依据'observation.state'与'action'字段构建控制策略，利用'observation.base_image'、'observation.ur5e_image'和'observation.ur3e_image'三个视频流进行多视角视觉输入的模型训练。

背景与挑战

背景概述

该数据集由shirasu206团队于2025年6月创建，基于LeRobot框架构建，专注于双机械臂协作场景，核心研究问题在于探索UR5e与UR3e机器人在联合操作任务中的运动规划与状态学习。通过采集50个任务片段、共计27623帧数据，数据集提供了包含双机械臂关节角度、末端执行器状态及多视角视觉信息的高维观测空间，为模仿学习与强化学习算法在复杂机器人协同场景下的训练与评估提供了标准化基准，对推动双臂机器人自主作业能力的研究具有重要参考价值。

当前挑战

领域层面的核心挑战在于双机械臂系统的协同控制，涉及高维状态空间（14维关节参数）下的实时运动同步、碰撞规避以及任务分解策略的学习。构建过程中，数据集面临多模态数据对齐难题，需同步采集两台异构机器人的关节状态、视觉图像与动作指令，并在15Hz采样率下保证时序一致性。此外，有限的任务多样性（仅含单一任务）与数据规模（50个片段）对模型的泛化能力构成显著限制，而Apache-2.0许可下的开源共享则考验了数据标准化与复用的可操作性。

常用场景

经典使用场景

在机器人学习与操控领域，双机械臂协同作业一直是研究的热点与难点。dual_arm_ur5e_ur3e_20260530_v13数据集凭借其完备的运动学与视觉信息，为模仿学习提供了理想的训练素材。研究者可利用该数据集中50个示范片段、近三万帧的高频采样数据，通过行为克隆或逆强化学习方法，让机器人习得UR5e与UR3e机械臂在空间中的联合运动模式。该数据集中每帧不仅包含14维关节状态与动作指令，还附带了全局视角及双臂各自的第一视角图像，这种多模态观测设计使得模型能够深度理解“看”与“动”之间的映射关系，从而在精密装配、协同搬运等任务中实现更为流畅的模仿表现。

解决学术问题

该数据集凝聚了机器人学中多项悬而未决的学术挑战。它系统性地解决了双机械臂协同控制中的状态空间爆炸与视点不一致问题，为从示范中学习复杂多臂协调策略提供了标准化的评估基准。借助这一珍贵资源，研究者能够深入探究在多体动力学环境下如何融合视觉与关节状态信息以实现高精度跟踪，以及如何处理双臂在共享工作空间内的碰撞规避与任务分配。这些问题的突破，对于理解人类双臂协作的内在机理、推动非结构化环境中机器人自主作业能力的提升具有深远意义，其影响不仅限于算法创新，更为搭建通用机器人技能库奠定了坚实的数据基础。

衍生相关工作

该数据集的诞生催生了一系列富有影响力的衍生研究工作。围绕其提供的多视角视觉与关节状态序列，学术界陆续开发出基于Transformer的双臂共享注意力模型，以及能够同时预测两臂未来轨迹的分层动作生成架构。部分工作进一步将其与域随机化技术结合，利用数据集中的仿真数据迁移至真实机器人系统，显著提升了策略的泛化能力。此外，该数据集也作为强基线，被用于验证新型奖励函数设计在稀疏奖励场景下的有效性，或作为预训练微调范式中的源域数据，支持少样本情况下的快速任务迁移。这些成果不仅拓展了数据集本身的价值，也反过来推动了整个机器人学习领域向更高效、更鲁棒的方向演进。