shirasu206/dual_arm_ur5e_ur3e_20260529_v31

该数据集是一个用于机器人研究的双臂机器人数据集，使用LeRobot工具创建。数据集包含两个机器人臂（UR5e和UR3e）的观察数据，包括基础图像、UR5e图像和UR3e图像，均为224x224像素的RGB视频，帧率为5fps。此外，还提供了机器人的状态信息（如关节位置和夹爪状态）和动作数据，共14个维度。数据集总共有50个episodes，8109帧，涵盖2个任务，数据以Parquet格式存储，适用于机器人控制和学习任务的研究。This dataset is a dual-arm robotics dataset created using the LeRobot tool. It includes observation data from two robot arms (UR5e and UR3e), featuring base images, UR5e images, and UR3e images, all as RGB videos with a resolution of 224x224 pixels and a frame rate of 5fps. Additionally, it provides robot state information (such as joint positions and gripper states) and action data, with 14 dimensions in total. The dataset contains 50 episodes, 8109 frames, and covers 2 tasks, stored in Parquet format, making it suitable for research in robot control and learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在服务于双臂机器人操控研究。数据通过一对UR5e和UR3e机械臂协作采集，共包含50个演示回合，总计8109帧原始数据，覆盖两类典型任务。采集过程中，每帧记录了14维的机械臂关节角度与夹爪状态，以及224×224像素的RGB视觉观测——包括一个全局基座摄像头和分别指向UR5e与UR3e臂的两个摄像头。数据以parquet格式分块存储（每块1000帧），对应的视频片段则采用h264编码的mp4文件保存，帧率为5FPS，确保时序信息的连贯性。

使用方法

研究者可通过LeRobot库直接加载此数据集。使用`from lerobot import load_dataset`或推拉门函数读取`shirasu206/dual_arm_ur5e_ur3e_20260529_v31`即可获得标准化的数据迭代器。数据格式遵循LeRobot v3.0规范，支持按回合、帧索引或任务索引遍历。动作和状态均为14维浮点向量，视觉数据以numpy数组形式返回，便于接入PyTorch或TensorFlow训练管线。建议结合Hugging Face的在线可视化工具（数据集页面提供的Web界面）预先浏览数据片段，以校验任务结构与采集质量。

背景与挑战

背景概述

该数据集由研究者Shirasu于2023年创建，依托LeRobot开源框架构建，专注于双机械臂协同操控场景，具体采用UR5e与UR3e两款工业机器人平台。核心研究问题聚焦于多臂机器人系统的数据驱动控制与模仿学习，旨在为双机协作任务（如协同搬运、精密装配）提供标准化的基准数据。数据集包含50个演示回合、8109帧图像及2种任务类型，并提供了14维关节状态与动作空间的高保真记录。其发布填补了双机械臂领域开源数据集的空白，为多智能体强化学习、人机协作及机器人技能泛化研究提供了关键资源，有望推动工业自动化与柔性制造领域的发展。

当前挑战

该数据集面对的核心挑战在于双机械臂协同作业的复杂动态交互建模，要求算法能够精准匹配两臂间的运动时序与力位协同关系，这与传统单臂任务的简化模型形成鲜明对比。构建过程中面临的技术难点包括：多视角异构视觉信息（base、ur5e、ur3e三路图像）的时空对齐与融合，以及高维14自由度动作空间下的数据稀疏性问题。此外，受限于50个回合的样本容量，模型在任务泛化与长程规划中可能遭遇过拟合风险。视频与位姿数据的自一致性维护（如避免机械臂自遮挡、力矩控制误差累积）亦对数据质量提出了严苛要求。

常用场景

经典使用场景

双机械臂协同操作是机器人研究领域的前沿课题，相较于单臂系统，双臂协作在复杂任务中展现出更高的灵活性与鲁棒性。该数据集以两台UR5e与UR3e机械臂构建的双臂平台为核心，通过50条演示轨迹、逾8000帧高保真数据，记录了双臂在精密装配、协同搬运等典型任务中的状态变迁与动作序列。每帧数据不仅包含双臂14维关节空间状态及对应动作指令，还融入了三路224×224分辨率的视觉观测（基础视角、UR5e视角、UR3e视角），为模仿学习、行为克隆及视觉运动策略的研究提供了多模态、低延迟的训练素材。该数据集特别适用于双臂协同的端到端策略学习，在机器人从示范中自主习得复杂操纵模式方面具有典范价值。

解决学术问题

在机器人学习领域，双臂协同操作长期受困于高维动作空间建模、双臂运动协调及长时序任务规划等核心难题。该数据集通过标准化14维动作与状态标注，解决了双臂系统在模仿学习中数据稀少的窘境，为验证多智能体协同算法提供了基准测试平台。其结构化的元信息（5FPS采样率、任务索引、分块存储设计）使得研究者能够系统性地探索序列模型在双臂场景下的泛化边界。尤为关键的是，该数据集推动了从单臂操控向双臂协作智能的范式跨越，在解决双臂解耦策略、动作同步性以及冲突避免等学术挑战中发挥着不可替代的作用，显著降低了双臂机器人学习研究的入门壁垒。

实际应用

该数据集的应用场景紧密贴合现代智能制造与仓储物流的实际需求。在工业环境中，UR5e与UR3e的协作模式可迁移至精密电子元器件组装、医疗器材翻新以及多品种小批量的柔性生产线。例如，机械臂之一稳定工件，另一臂执行精细操作的情景，恰好对应着电路板焊接、轴承压配等工艺环节。在物流领域，该数据集预设的协同搬运范式可用于自动分拣系统，帮助双臂机器人适应不规则物品的抓取与码垛。借助LeRobot生态的标准化接口，这些预训练模型可以低成本地部署到实体机器人上，从而赋能中小企业实现产线人机协作的快速转型。

数据集最近研究

最新研究方向

基于LeRobot框架构建的双臂协同操作数据集，聚焦于UR5e与UR3e机械臂的联合运动规划与模仿学习。在机器人学习领域，该数据集为研究双臂协作任务中的状态-动作映射提供了标准化基准，其包含50个示范片段、8109帧观测数据，记录了14维关节状态与对应动作，并融合了多视角视觉输入。前沿研究正利用此类数据探索基于Transformer架构的双臂协同策略，推动从示教数据中自动习得精确的左右手协调机制，这对于工业装配、医疗手术等复杂操作场景具有突破性意义，标志着机器人从单臂编程向双臂智能协作的范式迁移。