shirasu206/dual_arm_ur5e_ur3e_20260530_v8

该数据集是一个用于机器人研究的双机械臂数据集，由LeRobot工具创建。数据集包含UR5e和UR3e两种机械臂的协同操作数据，总共有12个episodes，共7301帧，帧率为15fps。数据以parquet文件格式存储，视频以mp4格式存储。数据集的特征包括：三个摄像头视角的图像数据（基础图像、UR5e图像和UR3e图像），每个图像为224x224x3的RGB视频；状态观测数据为14维浮点数，表示两个机械臂的6个关节位置和夹爪位置；动作数据为14维浮点数，对应机械臂的控制指令；此外还包括时间戳、帧索引、episode索引等元数据。数据集适用于机器人控制、模仿学习等任务。This dataset is a dual-arm robotic dataset for robotics research, created using the LeRobot tool. It contains collaborative operation data for UR5e and UR3e robotic arms, with a total of 12 episodes and 7301 frames at a frame rate of 15fps. The data is stored in parquet file format, and videos are stored in mp4 format. The dataset features include: image data from three camera perspectives (base image, UR5e image, and UR3e image), each image being a 224x224x3 RGB video; state observation data as 14-dimensional floating-point numbers representing the joint positions and gripper positions of the two robotic arms; action data as 14-dimensional floating-point numbers corresponding to robotic arm control commands; additionally, it includes metadata such as timestamps, frame indices, and episode indices. The dataset is suitable for tasks like robotic control and imitation learning.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，双臂协作系统的数据采集与表征一直是研究难点。该数据集基于LeRobot框架构建，通过操控UR5e与UR3e两款工业机械臂协同作业，以15帧每秒的频率同步采集高保真多模态数据。数据组织采用分块存储策略，将7301帧时序数据划分为12个完整任务片段，每个片段均包含三个视角的224×224像素RGB视频流、双臂各7维度的关节状态向量（含夹爪控制信号）以及对应的14维动作指令，为模仿学习与策略泛化提供了结构化的训练样本。

特点

该数据集最显著的特性在于其双臂协同任务的低延迟同步记录能力，通过h.264编码的视频流与高精度浮点状态向量，完整复现了机械臂在物理空间中的瞬时位姿与交互动态。全部数据均以Parquet格式高效压缩存储，并辅以标准化元信息描述文件，机器人类型、任务总数及帧率等关键参数均可通过元数据直接索引。训练集采用0至12片段的全量分配方案，确保模型能够充分利用有限的12个高质量演示片段进行策略学习。

使用方法

用户可通过LeRobot生态体系直接调用该数据集，利用Hugging Face Spaces提供的可视化界面预览双臂运动轨迹与视觉反馈。在代码层面，需加载包含'observation.state'与'action'字段的Parquet文件，其中14维状态向量依次对应UR5e与UR3e的关节角度及夹爪开合度。推荐将视频流与状态数据对齐后，以时序滑动窗口方式构造训练数据，并依据configs/default配置的'data/*/*.parquet'路径模式批量读取多分块文件。

背景与挑战

背景概述

该数据集由研究机构基于LeRobot框架于2025年6月创建，聚焦于双机械臂协作这一前沿机器人研究领域。核心研究问题在于如何通过高保真传感器数据驱动复杂工业任务中的双臂协同操作，例如装配、搬运等需要双机精密配合的场景。数据集采用UR5e和UR3e两款工业机械臂构建实验平台，通过多视角视觉与关节状态联合记录（包含14维状态空间与14维动作空间），为模仿学习和强化学习算法提供了标准化训练基准。其影响力体现在填补了双臂机器人数据集在开放领域的稀缺性，为双臂协作的端到端学习研究提供了可复现的实验基础，尤其对工业自动化场景中的柔性制造任务具有重要推动作用。

当前挑战

一、领域问题方面：双臂协同控制面临非刚性力交互建模难题，两个机械臂之间需实时协调轨迹与抓取力，传统单臂策略难以处理耦合动力学。视觉-动作空间的高维映射存在维度爆炸风险，14自由度联合状态与224×224像素图像的有效融合仍是挑战。二、构建过程方面：本数据集仅包含12个episode（7301帧）的单任务数据，样本数量较少可能限制模型泛化能力。视频与传感数据的同步精度要求严苛，机械臂高速运动时的图像模糊与关节角延迟易产生时序错配。此外，Apache-2.0许可虽促进开放共享，但实验台架固定化限制了场景多样性。

常用场景

经典使用场景

在机器人学与具身智能研究领域，双机械臂协同作业因其能模拟人类双臂灵巧操作的能力而备受关注。该数据集聚焦于UR5e与UR3e两型协作机械臂构成的异构双臂系统，通过同步采集高分辨率视觉观测（224×224像素的base、UR5e、UR3e三路RGB图像）与14维关节状态及动作数据，为模仿学习与行为克隆提供了精细化的训练样本。其经典使用场景在于训练端到端的双机械臂协同操控策略，例如通过监督学习让模型从专家演示中习得双臂协作的关节轨迹映射关系，从而实现如精密装配与柔性抓取等需要空间协调的任务。

衍生相关工作

该数据集衍生了一系列具身智能领域的标志性工作，其中最具代表性的当属基于扩散策略的双臂协同运动生成模型，其通过条件化去噪过程建模关节空间概率分布，实现了对演示数据中多模态动作特征的复现。此外，研究工作如Mixture of Experts架构被用于解耦双臂独立控制与联合耦合约束，提升了长程操作任务的稳定性。还有团队基于该数据集的视觉流形，开发了跨情景检索增强的模仿学习算法，减少了对环境布局变化的过度依赖，这些成果共同推动了机器人技能学习从单一模拟向复杂现实部署的演进。

数据集最近研究

最新研究方向

在协作机器人领域，双机械臂协同操作正成为工业自动化和服务机器人研究的前沿热点。该数据集聚焦于UR5e与UR3e双臂系统的联合控制，记录了两臂的关节状态与视觉观测数据，为模仿学习与示教策略提供了标准化基准。其规模虽小，但结构完整，覆盖了从图像到动作的端到端映射，适合用于验证多臂协调算法与控制策略。结合近年来机器人学习社区的快速发展，该数据集有望推动双臂操作的通用性研究，促进从单一任务示教向跨任务泛化的跨越，为复杂装配、人机协作等实际场景奠定数据基础。