ur5_WM_eval

该数据集使用LeRobot创建，适用于机器人技术任务。数据集包含parquet格式的数据文件，采用apache-2.0许可证。数据集结构通过meta/info.json文件详细描述，包括机器人类型（ur5_follower）、总剧集数（10）、总帧数（5015）、总任务数（1）、块大小（1000）、数据和视频文件大小（分别为100MB和200MB）以及帧率（30fps）。数据集特征包括动作、观察（状态和图像）、时间戳、帧索引、剧集索引和任务索引。动作和观察特征详细描述了它们的数据类型、形状和名称。该数据集特别适合涉及UR5机器人的机器人技术任务。

原始信息汇总

数据集概述

基本信息

• 数据集名称: ur5_WM_eval
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总情节数: 10
• 总帧数: 5015
• 总任务数: 1
• 数据块大小: 1000
• 帧率: 30 fps
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 代码库版本: v3.0
• 机器人类型: ur5_follower
• 数据分割: 训练集 (0:10)

数据文件与路径

• 数据文件格式: Parquet
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 特征名: action
• 数据类型: float32
• 形状: [7]
• 维度名称: ee.x, ee.y, ee.z, ee.wx, ee.wy, ee.wz, ee.gripper_pos

观测状态

• 特征名: observation.state
• 数据类型: float32
• 形状: [13]
• 维度名称: shoulder_pan.pos, shoulder_lift.pos, elbow.pos, wrist_1.pos, wrist_2.pos, wrist_3.pos, ee.x, ee.y, ee.z, ee.wx, ee.wy, ee.wz, ee.gripper_pos

观测图像

• 特征名: observation.images.front
• 数据类型: video
• 形状: [480, 640, 3]
• 维度名称: height, width, channels
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: h264
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 包含音频: false

基础动作增量

• 特征名: action.5hz_delta_base
• 数据类型: float32
• 形状: [7]
• 维度名称: ee.dx_base, ee.dy_base, ee.dz_base, ee.dwx_base, ee.dwy_base, ee.dwz_base, ee.dgripper_pos

局部动作增量

• 特征名: action.5hz_delta_local
• 数据类型: float32
• 形状: [7]
• 维度名称: ee.dx_local, ee.dy_local, ee.dz_local, ee.dwx_local, ee.dwy_local, ee.dwz_local, ee.dgripper_pos

索引与时间戳

• 时间戳: timestamp (float32, 形状 [1])
• 帧索引: frame_index (int64, 形状 [1])
• 情节索引: episode_index (int64, 形状 [1])
• 索引: index (int64, 形状 [1])
• 任务索引: task_index (int64, 形状 [1])

可视化

• 可视化空间: https://huggingface.co/spaces/lerobot/visualize_dataset?path=Gaugou/ur5_WM_eval

引用信息

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，ur5_WM_eval数据集依托LeRobot框架构建，通过UR5机械臂执行特定任务，系统采集了10个完整交互序列。数据以30帧每秒的速率记录，涵盖5015个时间步，每个时间步包含机械臂的关节状态、末端执行器位姿及前视摄像头的高清视频流。数据以Parquet格式分块存储，每块约1000帧，确保了高效的数据读取与处理，为机器人学习提供了结构化的多模态交互记录。

特点

该数据集以多模态融合为显著特征，不仅包含13维的关节与末端执行器状态向量，还整合了480x640分辨率的三通道前视视频，全面捕捉了任务执行过程中的视觉与动力学信息。数据字段设计精细，除了基础的动作与状态观测，还提供了5Hz频率下的局部与全局坐标系增量动作，支持多种控制策略的建模需求。所有数据均附带时间戳、帧索引与任务索引，便于时序分析与任务特定研究。

使用方法

研究人员可通过HuggingFace平台直接访问该数据集，利用LeRobot工具链加载Parquet格式的数据文件。数据集适用于机器人模仿学习、强化学习及多模态感知模型的训练与评估。用户可依据帧索引或任务索引提取特定交互序列，结合视频流与状态数据构建训练样本。数据的分块存储结构支持流式读取，适合大规模分布式训练场景，同时提供了可视化接口以便直观分析任务执行过程。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习正逐步推动机器人自主执行复杂任务的能力。ur5_WM_eval数据集由LeRobot团队构建，专注于评估UR5机械臂在特定工作环境下的操作性能。该数据集通过整合多模态观测数据，包括关节状态、末端执行器位姿及视觉信息，旨在为机器人策略学习与泛化能力提供基准测试平台。其设计反映了当前机器人研究中对高维状态空间与动作空间协同建模的核心需求，为后续算法开发与性能比较奠定了数据基础。

当前挑战

该数据集致力于解决机器人操作任务中的策略评估与泛化挑战，尤其在非结构化环境中机械臂的精确控制与适应性学习方面存在显著难度。构建过程中，数据采集需确保多传感器同步与高精度时间戳对齐，同时处理大规模视频流与状态动作对的存储效率问题。此外，数据标注与特征提取需克服高维连续空间中的噪声干扰，保证动作序列的平滑性与物理可行性，这对数据集的可靠性与实用性构成了关键考验。

常用场景

经典使用场景

在机器人学习领域，ur5_WM_eval数据集为评估模仿学习与强化学习算法提供了标准化的测试平台。该数据集通过UR5机械臂执行任务时记录的多模态数据，包括关节状态、末端执行器动作以及前视摄像头图像，使得研究者能够系统性地验证算法在真实世界环境中的泛化能力与鲁棒性。经典使用场景聚焦于训练端到端的策略模型，以从视觉输入直接映射到机械臂控制指令，从而推动机器人自主操作技术的发展。

解决学术问题

该数据集有效解决了机器人学中模仿学习的数据稀缺性与真实性挑战，为算法评估提供了高质量、结构化的真实交互数据。通过提供精确的动作轨迹与同步视觉观测，它支持研究者深入探究状态表示学习、多模态融合以及长期任务规划等核心学术问题。其意义在于降低了实验门槛，促进了算法比较的公平性，对推动机器人智能从仿真向实际应用过渡产生了深远影响。

衍生相关工作

围绕ur5_WM_eval数据集，已衍生出多项经典研究工作，主要集中在视觉运动策略学习领域。例如，研究者利用其多模态特征开发了基于Transformer的序列预测模型，以提升长期动作规划的准确性。同时，该数据集也促进了模仿学习与离线强化学习方法的融合，催生了如行为克隆改进算法和基于模型的策略优化等创新方向，为机器人学习社区贡献了宝贵的基准与灵感。