ur5

该数据集是通过LeRobot创建的，主要用于机器人技术领域。数据集包含3个episodes，783帧，6个视频，涉及1个任务。数据以parquet格式存储，视频分辨率为240x320，帧率为20fps。数据集包含多种特征，如基础RGB、手腕RGB、关节状态、夹持器状态、动作、TCP位姿、目标TCP位姿、TCP速度、目标TCP速度、时间戳、帧索引、episode索引、索引和任务索引等。

This dataset was developed using LeRobot, and is primarily intended for the field of robotics. It contains 3 episodes, 783 frames, 6 videos, and covers 1 task. The data is stored in Parquet format, with a video resolution of 240×320 and a frame rate of 20 fps. The dataset includes various features such as basic RGB, wrist RGB, joint states, gripper states, actions, TCP poses, target TCP poses, TCP velocities, target TCP velocities, timestamps, frame indices, episode indices, indices, and task indices.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动算法进步的关键基石。ur5数据集基于LeRobot框架构建，专注于UR5机械臂的操作数据采集。该数据集包含3个完整任务回合（episode），共计783帧时序数据，采样频率为20帧/秒。数据以Parquet格式存储于'data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet'路径下，视频数据则采用AV1编码的MP4格式，分别记录基座（base_rgb）和腕部（wrist_rgb）两个视角的RGB图像，分辨率统一为240×320像素。数据特征涵盖关节角度（joints）、夹爪状态（gripper）、末端执行器位姿（tcp_pose）及速度（tcp_speed）等状态量，同时提供动作指令（actions）与目标位姿（target_tcp_pose）等控制量，形成完整的机器人操控闭环。

特点

ur5数据集展现了两项突出特点。其一为多模态融合特性，同时包含高维视觉信息与低维运动学参数，基座与腕部双摄像头设计可提供全局与局部协同的观测视角，有利于算法学习空间关联性。其二为结构化的时序一致性，所有状态量（如关节角度、TCP位姿）与动作量（7维动作指令）均严格对齐时间戳与帧索引，确保数据序列的因果逻辑完整性。此外，数据集已按训练集（train）划分全部3个回合，并附有episode_index与task_index等元数据，便于进行回合级别的策略学习与任务泛化研究。

使用方法

使用ur5数据集时，推荐通过LeRobot框架加载以利用其内置的数据流水线。用户可直接调用数据集配置名'default'，指定数据文件路径后，框架将自动解析Parquet文件中的特征字典与视频文件。针对模仿学习或强化学习任务，可基于'actions'（7维动作）与'joints'（6维状态）构建状态-动作对，同时利用'tcp_pose'与'target_tcp_pose'进行运动规划验证。视频数据可通过'video.fps'参数调整采样率，以适应不同算法的输入频率需求。建议将'episode_index'作为批次划分依据，确保训练过程中回合内时序依赖不被破坏。

背景与挑战

背景概述

在机器人学习领域，数据驱动的策略学习正逐渐成为实现复杂操控任务的核心范式。ur5数据集由Hugging Face LeRobot社区创建，依托于Apache-2.0许可协议公开发布，旨在为协作机器人UR5的模仿学习与行为克隆研究提供标准化数据资源。该数据集创建于2023年后，聚焦于单一操控任务，包含3个完整回合、共计783帧的高频采样数据，以每秒20帧的速率采集，覆盖了关节角度、末端执行器位姿、夹爪状态及多视角视觉观测（基础RGB与腕部RGB）等关键模态。其核心研究问题在于如何通过有限但结构化的示范数据，驱动UR5机械臂在精准操控中复现目标行为。作为LeRobot生态中的轻量级基准，ur5数据集为验证小样本模仿学习算法、多模态融合策略及机器人运动规划的可迁移性提供了实验基础，对推动开源机器人数据标准化与低成本研究具有示范意义。

当前挑战

ur5数据集面临的核心挑战首先体现在领域问题的复杂性上：机器人操控任务要求从高维视觉与低维运动信号的联合空间中学习鲁棒的策略映射，而当前数据集仅包含单一任务、3个回合的示范，样本量极为有限，极易导致模仿学习中的过拟合与泛化能力不足。此外，构建过程中存在显著技术困难：多模态数据的同步采集（如20fps视频与关节状态的对齐）、不同传感器坐标系间的标定误差、以及夹爪与机械臂运动在狭窄空间内的干涉问题，均对数据质量构成威胁。更严峻的是，该数据集缺乏对任务变异性的覆盖（如初始物体位姿、光照条件、动态干扰），使得从静态示范中提取不变性特征成为挑战，制约了策略在真实环境中的鲁棒部署与零样本迁移能力。

常用场景

经典使用场景

ur5数据集在机器人学习领域扮演着关键角色，尤其适用于模仿学习与行为克隆的研究范式。该数据集记录了UR5机械臂执行单一任务的完整操作轨迹，包含3个episode、共计783帧的高频时序数据。通过同步采集基座与腕部RGB视觉观测、六维关节角度、夹爪状态以及工具中心点（TCP）位姿与速度等多元模态信息，为构建从感知到动作的端到端映射模型提供了坚实基础。研究者常利用该数据集训练策略网络，使其学习通过视觉输入直接预测7维动作指令的能力，从而复现复杂的操作技能。

解决学术问题

该数据集有效解决了机器人操作领域中数据稀缺与可复现性不足的学术难题。传统机器人学习研究常因缺乏标准化、精细标注的示范数据而难以进行公平的算法比较。ur5数据集通过LeRobot框架统一数据格式，提供了包含完整状态-动作对的高质量时序样本，使研究者能够系统性地探索视觉运动策略的泛化能力、因果推理机制以及长时域任务规划等核心问题。其开源特性降低了入门门槛，促进了机器人学习社区中基准测试体系的建立。

衍生相关工作

基于ur5数据集衍生了多项具有影响力的研究工作，主要集中在基于Transformer的视觉运动策略架构创新与多任务泛化方法探索。例如，研究者借助该数据集验证了扩散策略（Diffusion Policy）在低样本场景下的优越性能，并推动了隐式行为克隆（IBC）等高效算法的发展。此外，该数据集常被用于对比模仿学习与强化学习在真实机器人系统上的数据效率差异，为混合范式学习框架的设计提供了关键实证依据。随着LeRobot生态的扩展，该数据集还催生了跨具身形态的预训练基础模型研究。