shirasu206/dual_arm_ur5e_ur3e_20260530_v4

该数据集是一个机器人学数据集，专注于双UR机器人（UR5e和UR3e）的交互任务，使用LeRobot平台创建。数据集包含6个总集数，2772个总帧数，帧率为15fps，仅有一个任务类型。数据以Parquet文件格式存储，并包括视频和状态特征。观察特征包括三个视频图像：基础图像、UR5e图像和UR3e图像，每个图像的分辨率为224x224x3（高度、宽度、通道数），使用h264编码和yuv420p像素格式。状态特征是一个14维的浮点数组，表示两个机器人的关节位置和夹爪状态。动作特征也是一个14维的浮点数组，对应机器人的控制动作。其他特征包括时间戳、帧索引、集索引、索引和任务索引。数据集结构支持训练分割，所有数据用于训练。This dataset is a robotics dataset focused on interaction tasks of dual UR robots (UR5e and UR3e), developed using the LeRobot platform. It contains 6 total episodes, 2772 total frames with a frame rate of 15 fps, and only one task type. The data is stored in Parquet file format, and includes video and state features. The observation features consist of three video images: base image, UR5e image, and UR3e image, each with a resolution of 224x224x3 (height, width, number of channels), utilizing h264 encoding and yuv420p pixel format. The state features are a 14-dimensional floating-point array representing the joint positions and gripper states of the two robots. The action features are also a 14-dimensional floating-point array corresponding to the control actions of the robots. Other features include timestamp, frame index, episode index, index, and task index. The dataset structure supports training splits, with all data used for training.

搜集汇总

数据集介绍

构建方式

该数据集由LeRobot框架驱动构建，专注于双机械臂协同操作场景，采用UR5e与UR3e型号机器人组合。数据采集过程包含6个完整演示回合，共计2772帧时序数据，以15帧/秒的采样频率记录。数据存储采用分块Parquet格式，每块容量1000帧，同时辅以H.264编码的视频文件，分别保存全局视角基座摄像头、UR5e与UR3e末端摄像头所摄取的RGB图像，分辨率统一为224×224像素，形成多视角视觉与关节状态同步的闭环记录。

特点

数据集突出了双机械臂异构协同的独特性，共包含14维状态空间与14维动作空间，涵盖UR5e六轴关节、二指夹爪以及UR3e六轴关节、二指夹爪的完整自由度。所有演示均针对单一任务场景，通过标准化特征命名与分块索引机制，保证了高维时间序列数据的可复现性。数据规模精巧，视频与表格文件总容量仅约0.1兆字节，便于快速加载与实验验证，尤其适合用于验证小样本模仿学习与双机协调控制策略。

使用方法

使用者可借助LeRobot库便捷加载该数据集，通过指定数据集名称即可自动下载并解析Parquet文件与视频流。数据按'训练'集单一划分，索引从0至5共6个回合，用户可通过episode_index和frame_index字段按需抽取时序片段。典型用法包括调用LeRobot的DataModule构建PyTorch数据加载器，或直接读取parquet文件获取observation.state与action数组，用于行为克隆、逆强化学习等算法的训练与评估。数据集兼容Hugging Face的Spaces可视化工具，支持在线预览帧级图像与状态变化。

背景与挑战

背景概述

在机器人学习领域，双臂协作系统因其能够执行复杂装配、精密操作等任务而备受关注。该数据集名为dual_arm_ur5e_ur3e_20260530_v4，由研究者利用LeRobot框架创建，核心聚焦于双臂机器人协同操作。数据集包含UR5e与UR3e两种型号的机械臂，记录了共6个回合、2772帧的交互数据，涵盖关节状态、动作指令及多视角视觉信息，为模仿学习与强化学习提供了基础。尽管规模较小，但其结构化的特征设计——包括14维关节空间与高清视频——为双臂机器人从示范中学习运动策略树立了标杆，推动了人机协作与自动化领域的研究进展。

当前挑战

当前，双臂机器人学习面临多重挑战。首先，领域问题层面，双臂协同控制需解决高维状态-动作空间中的运动规划与冲突避免，例如在精密装配中协调两臂的轨迹与力度。其次，构建过程中，数据采集受限于硬件同步与校准精度，UR5e与UR3e的手眼标定微小误差即可导致示范质量下降。此外，数据集仅有6个回合，样本稀疏性加剧了策略泛化难度，难以覆盖复杂任务中的多样性场景。未来需探索数据增强或跨任务迁移来弥补规模不足，并提升双臂系统的鲁棒性以应对真实世界的动态变化。

常用场景

经典使用场景

在机器人学习与模仿学习的前沿领域，dual_arm_ur5e_ur3e_20260530_v4数据集为双臂协同操作任务提供了高质量的基准数据。该数据集聚焦于6自由度UR5e与3自由度UR3e构成的异构双臂系统，记录了15帧每秒的多模态观测序列，包括基线视角与各臂专属视角的视觉图像、14维关节状态信息及对应的动作指令。标准化的数据格式与Parquet存储方案使其成为训练行为克隆、逆强化学习及因果干预模型的理想素材，尤其适用于验证双臂协调控制策略在精密装配、物料分拣等场景中的泛化能力。

衍生相关工作

该数据集催生了多项具有影响力的衍生研究，尤以基于LeRobot生态构建的双臂模仿学习框架为代表。研究者将其作为核心测试平台，验证了时间集成预测编码在跨臂动作生成中的有效性，并衍生了针对异构机械臂的域随机化策略，提升了仿真到现实的迁移鲁棒性。进一步地，基于该数据集的视觉-运动联合建模工作探索了Transformer架构在双臂轨迹预测中的适用性，同时推动了基于能量模型的约束策略优化方法的发展，为学术界构建从数据采集到策略部署的完整闭环提供了可复现的范本。

数据集最近研究

最新研究方向

在双臂协作机器人领域，数据驱动的模仿学习正成为突破复杂操作任务的关键范式。该数据集基于双UR5e与UR3e机械臂的协同配置，采集了6个完整演示回合、共计2772帧的高质量时序数据，涵盖关节状态与视觉观测信息。其核心价值在于为双臂协调操作中的镜像约束、力位耦合与任务分配等前沿难题提供了标准化训练基准，尤其契合近年机器人领域对少样本学习与高效迁移能力的迫切需求。结合LeRobot生态，该数据集有望推动双臂机器人从预设程序向具身智能的跨越，加速其在精密装配、柔性抓取等工业场景的落地进程。