ur5_WM

该数据集是通过LeRobot框架创建的，主要用于机器人技术领域。数据集包含8个完整的情节，总计64,120帧数据，涉及单一任务。数据以Parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集结构包括动作数据（如末端执行器的位置、旋转和夹持器状态）、观察状态（如关节位置和末端执行器状态）、前端摄像头图像（480x640分辨率，RGB三通道）、时间戳、帧索引、情节索引等。动作数据进一步细分为基于基准和局部坐标系的5Hz增量变化。该数据集适用于机器人控制、行为学习和计算机视觉等任务的研究。

原始信息汇总

数据集概述：Gaugou/ur5_WM

基本信息

• 许可证：Apache-2.0
• 任务类别：机器人学
• 创建工具：LeRobot (https://github.com/huggingface/lerobot)
• 可视化链接：https://huggingface.co/spaces/lerobot/visualize_dataset?path=Gaugou/ur5_WM

数据集规模与结构

• 总情节数：8
• 总帧数：64120
• 总任务数：1
• 数据块大小：1000帧
• 数据文件总大小：100 MB
• 视频文件总大小：200 MB
• 帧率：30 FPS
• 数据分割：训练集 (0:8)
• 代码库版本：v3.0
• 机器人类型：ur5_follower

数据文件路径格式

• 数据文件：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 名称：action
• 数据类型：float32
• 形状：[7]
• 字段：
  • ee.x
  • ee.y
  • ee.z
  • ee.wx
  • ee.wy
  • ee.wz
  • ee.gripper_pos

观测状态

• 名称：observation.state
• 数据类型：float32
• 形状：[13]
• 字段：
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow.pos
  • wrist_1.pos
  • wrist_2.pos
  • wrist_3.pos
  • ee.x
  • ee.y
  • ee.z
  • ee.wx
  • ee.wy
  • ee.wz
  • ee.gripper_pos

观测图像

• 名称：observation.images.front
• 数据类型：video
• 形状：[480, 640, 3]
• 维度名称：height, width, channels
• 视频信息：
  • 高度：480
  • 宽度：640
  • 编解码器：h264
  • 像素格式：yuv420p
  • 是否为深度图：false
  • 帧率：30
  • 通道数：3
  • 是否包含音频：false

元数据

• 时间戳 (timestamp)：float32，形状 [1]
• 帧索引 (frame_index)：int64，形状 [1]
• 情节索引 (episode_index)：int64，形状 [1]
• 索引 (index)：int64，形状 [1]
• 任务索引 (task_index)：int64，形状 [1]

派生动作

• 5Hz Delta Base (action.5hz_delta_base)：float32，形状 [7]
  • 字段：ee.dx_base, ee.dy_base, ee.dz_base, ee.dwx_base, ee.dwy_base, ee.dwz_base, ee.dgripper_pos
• 5Hz Delta Local (action.5hz_delta_local)：float32，形状 [7]
  • 字段：ee.dx_local, ee.dy_local, ee.dz_local, ee.dwx_local, ee.dwy_local, ee.dwz_local, ee.dgripper_pos

引用信息

• 主页：[More Information Needed]
• 论文：[More Information Needed]
• BibTeX：[More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人学领域，数据集的构建往往依赖于实际物理系统的交互记录。ur5_WM数据集通过LeRobot平台，利用UR5机械臂在真实环境中的操作过程进行采集。该数据集以30帧每秒的速率，记录了8个完整任务片段，涵盖64120帧数据，并以分块存储的Parquet格式组织，确保了数据的高效访问与处理。每个数据块包含机械臂的状态观测、动作指令及前视图像等多模态信息，为机器人控制研究提供了丰富的实验素材。

特点

ur5_WM数据集的特点体现在其多维度的数据表征与精细的结构设计上。数据集不仅提供了机械臂关节位置、末端执行器位姿及夹爪状态等13维状态观测，还包含了7维动作空间数据，并额外衍生出基于局部与基础坐标系的增量动作表示。前视摄像头以640x480分辨率捕捉RGB视频流，与时间戳、帧索引及任务索引等元数据紧密结合，形成了时空对齐的多模态记录。这种结构化的特征组织，为机器人模仿学习与策略优化研究提供了高度一致且可扩展的数据基础。

使用方法

使用ur5_WM数据集时，研究者可通过LeRobot提供的可视化工具直观浏览数据内容，并利用其标准化的数据加载接口进行访问。数据集已按训练集划分，支持按块读取Parquet文件，便于流式处理与大规模训练。用户可提取观测状态、动作序列及视觉帧，用于机器人行为克隆、强化学习或跨模态表征学习等任务。数据集中包含的增量动作表示，为动力学建模与轨迹规划提供了直接的计算基础，使得算法开发能够专注于高层策略而非底层数据预处理。

背景与挑战

背景概述

ur5_WM数据集是机器人学习领域的一项新兴资源，专注于UR5机械臂的操作任务。该数据集由LeRobot项目团队构建，旨在推动机器人模仿学习与强化学习算法的发展。数据集收录了UR5机械臂在特定任务中的多模态交互数据，包括关节状态、末端执行器动作以及前视摄像头采集的视觉信息，共计8个完整任务片段，跨越64120帧高频率采样记录。其核心研究问题聚焦于如何整合视觉感知与运动控制，以实现机械臂在复杂环境中的自主操作能力，为机器人行为克隆与策略泛化提供了宝贵的实证基础。

当前挑战

ur5_WM数据集所针对的领域挑战在于解决机器人操作任务中视觉-动作映射的复杂性问题，尤其是在非结构化环境中实现精确且鲁棒的控制策略。构建过程中的挑战主要包括多模态数据的高效同步与对齐，确保视觉流、关节状态与动作指令在时间维度上的一致性；同时，数据采集涉及硬件系统的实时性与稳定性，需克服传感器噪声、通信延迟以及机械臂运动轨迹的平滑性约束。此外，数据集的规模相对有限，涵盖的任务多样性不足，可能限制模型在更广泛场景下的泛化性能评估。

常用场景

经典使用场景

在机器人学习领域，ur5_WM数据集为模仿学习与强化学习算法提供了宝贵的实验平台。该数据集记录了UR5机械臂在真实环境中的操作轨迹，包含丰富的状态观测、动作指令及视觉图像数据，使得研究人员能够基于此训练端到端的控制策略。经典使用场景涉及机械臂的轨迹规划与抓取任务，通过高频率的传感器反馈与动作序列，模型能够学习从视觉输入到关节运动的映射关系，进而实现精准的物体操控。

实际应用

在实际工业自动化场景中，ur5_WM数据集支持智能机械臂的自主操作能力开发。例如，在装配线或仓储物流中，基于该数据集训练的模型可实现物体的识别、定位与抓取，减少人工编程成本并提升系统灵活性。数据集涵盖的视觉与状态信息使得机器人能够适应环境变化，完成精细的拾放任务，为智能制造与柔性生产提供了可靠的技术基础。

衍生相关工作

围绕ur5_WM数据集，衍生了一系列经典研究工作，主要集中在机器人模仿学习与视觉运动策略领域。例如，基于该数据集的轨迹生成算法改进了机械臂的动作平滑性与精度；同时，结合深度强化学习的框架利用其多模态数据实现了更鲁棒的控制性能。这些工作不仅拓展了数据集的应用边界，还为后续的机器人学习社区提供了可复现的实验范例与算法改进方向。