shirasu206/dual_arm_ur5e_ur3e_20260530_v9

该数据集是一个用于机器人控制的双机械臂数据集，使用LeRobot平台创建。它包含UR5e和UR3e两种机械臂的交互数据，总共有4个episodes和2404帧。数据以15fps的帧率采集，包括三个视频观察：base_image、ur5e_image和ur3e_image，每个视频的分辨率为224x224像素，3个颜色通道（RGB）。状态观测（observation.state）由14个浮点数组成，分别表示UR5e和UR3e机械臂的6个关节位置和夹爪状态。动作（action）同样为14维浮点数，对应两个机械臂的控制指令。数据集还包含时间戳、帧索引、episode索引、索引和任务索引等元数据。数据以Parquet格式存储，适用于机器人学习任务，如模仿学习或强化学习。This dataset is a dual-arm robotic dataset for robot control applications, created using the LeRobot platform. It contains interaction data for two types of robotic arms, UR5e and UR3e, with a total of 4 episodes and 2404 frames. The data is collected at a frame rate of 15 fps, and includes three video observations: base_image, ur5e_image, and ur3e_image. Each video has a resolution of 224×224 pixels with 3 RGB color channels. The state observation (observation.state) consists of 14 floating-point numbers, which respectively represent the 6 joint positions and gripper states of the UR5e and UR3e robotic arms. The action is also a 14-dimensional floating-point vector, corresponding to the control commands for the two robotic arms. The dataset also includes metadata such as timestamps, frame indices, episode indices, indices, and task indices. The data is stored in Parquet format and is suitable for robotic learning tasks such as imitation learning and reinforcement learning.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为双臂协作机器人场景设计，融合了UR5e与UR3e两款机械臂的协同操作数据。数据采集过程通过高频率采样（每秒15帧）记录完整操作序列，共计4个示教回合（episodes），包含2404帧有效数据帧。每份样本均以Parquet格式存储结构化数据，并通过H.264编码的视频文件保存224×224像素的视觉观测。数据集的元信息通过JSON文件统一管理，按chunk分块组织以优化加载效率。

特点

数据集的核心特点在于多模态观测与双臂联合操控的深度整合。视觉层面提供UR5e与UR3e的独立视角图像（ur5e_image/ur3e_image）及全局基准视角（base_image），构成三位一体的空间感知体系。状态空间与动作空间均采用14维向量，完整映射双臂各6自由度关节角度及夹爪状态。所有时序数据严格对齐，并保留时间戳与帧索引以确保可追溯性。数据总规模虽小（约0.0001MB），但结构完整规范，适合算法原型验证。

使用方法

数据集兼容LeRobot生态工具链，用户可通过HuggingFace Spaces的交互式可视化页面直接预览样本。使用时需加载parquet数据文件及对应mp4视频文件，建议利用官方提供的data_path与video_path模式批量读取。训练/测试划分预设为全量数据用于训练（split: train=0:4）。对于强化学习或模仿学习任务，可直接将observation.state作为状态输入，action作为教师信号，并联合多视角图像进行视觉特征提取。

背景与挑战

背景概述

该数据集由研究团队基于LeRobot框架构建，聚焦于双机械臂协同操作场景，涉及UR5e与UR3e两台机器人的联合控制。创建时间标注为2026年5月30日，体现了对前沿机器人学习数据集的持续探索。核心研究问题在于为双臂机器人提供一种标准化的、包含视觉与状态信息的示范数据，以支持模仿学习与行为克隆等算法的发展。尽管规模尚小，但其采用parquet与视频混合存储、Apache-2.0许可协议及与HuggingFace生态的集成，为促进开放机器人研究的复现与协作奠定了初步基础，对双臂操作任务的算法评估与基准构建具有潜在价值。

当前挑战

该数据集面临的挑战主要包括两方面。所解决的领域问题在于双臂协同控制的复杂性：UR5e与UR3e需在共享工作空间中完成联合任务，其动作空间维度高达14维，且夹爪与关节的同步控制难度远超单臂系统；现有开源数据多聚焦单臂场景，双臂数据匮乏制约了模仿学习算法的泛化能力。构建过程中，挑战体现在数据规模有限（仅4个有效任务片段，共2404帧），且依赖单一固定场景与任务，可能引入过拟合风险；此外，高清视频（224x224）与高频率（15fps）的同步采集对硬件同步性与存储带宽提出严苛要求，而当前数据量尚不足以充分覆盖真实部署中的噪声与动态变化。

常用场景

经典使用场景

在机器人学习领域，双机械臂协同操作是极具挑战性的前沿方向。该数据集基于UR5e与UR3e两款工业级协作机器人构建，记录了完整的双臂联合操作流程，为模仿学习与行为克隆算法提供了高保真的训练素材。每一条轨迹都同步采集了双臂各关节的位姿状态、夹爪开合度以及第一人称视角的视觉观测，使得研究者能够在连续的高维状态-动作空间中探索多机器人系统的策略学习范式。数据集采用LeRobot标准格式组织，包含视频与结构化表格数据，便于直接适配主流的端到端控制模型，成为双臂机器人技能获取与泛化研究的基础资源。

衍生相关工作

围绕此双臂数据集，研究社区已衍生出一系列创新工作。基于其提供的多视角视觉输入与同步动作记录，学者们开发了面向双臂系统的注意力机制增强策略网络，以及结合图神经网络进行空间关系建模的协调控制框架。在算法层面，该数据集被用于改进保角变换下的运动生成方法，验证了扩散模型在双臂轨迹规划中的有效性。此外，数据集的发布催生了针对双臂技能迁移的跨形态学习方法，即利用单一任务演示泛化到不同构型机械臂组合的场景中。这些工作不仅丰富了多机器人学习领域的理论工具箱，也为后续构建更大规模、更多样化的双臂操作基准奠定了数据基石。

数据集最近研究

最新研究方向

该数据集聚焦于双机械臂协同操作的模仿学习前沿，利用UR5e与UR3e机器人平台采集了包含多视角视觉与14维关节状态/动作序列的精细数据。结合LeRobot框架，该资源为研究双臂协作中的精准抓取与柔性装配等复杂任务提供了标准化基准，尤其适用于探索基于视觉-状态联合表征的端到端技能习得方法。在工业自动化与具身智能快速融合的背景下，此类细粒度数据集助力破解多机器人系统动态协调中的稀疏奖励与长程依赖难题，推动从仿真到真实场景的零样本迁移研究，对下一代协作机器人的自主决策与安全交互具有奠基性意义。