ur-tasks-merged

这是一个机器人学数据集，包含800个剧集，共1180170帧，分为4个任务。数据集使用Apache-2.0许可证。数据以Parquet格式存储，并伴有MP4格式的视频文件。数据集包含机器人的动作、状态、以及来自不同摄像头的图像信息。每个剧集包含1000个数据块，每个数据块包含不同数量的帧。

原始信息汇总

数据集概述

基本信息

• 数据集名称: ur-tasks-merged
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可协议: Apache 2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模与构成

• 机器人类型: ur5e
• 总任务数: 4
• 总情节数: 800
• 总帧数: 1,180,170
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 60 FPS
• 数据块大小: 1000
• 代码库版本: v3.0
• 数据分割: 训练集 (0:800)

数据文件结构

• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型: float32
• 形状: [7]
• 名称: joint_0, joint_1, joint_2, joint_3, joint_4, joint_5, gripper

观测状态

• 数据类型: float32
• 形状: [7]
• 名称: joint_0, joint_1, joint_2, joint_3, joint_4, joint_5, gripper

观测图像 (ZED2i左)

• 数据类型: video
• 形状: [376, 672, 3]
• 维度名称: height, width, channels
• 视频信息:
  • 高度: 376
  • 宽度: 672
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 60
  • 通道数: 3
  • 包含音频: false

观测图像 (ZED2i右)

• 数据类型: video
• 形状: [376, 672, 3]
• 维度名称: height, width, channels
• 视频信息:
  • 高度: 376
  • 宽度: 672
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 60
  • 通道数: 3
  • 包含音频: false

观测图像 (ZEDm左)

• 数据类型: video
• 形状: [376, 672, 3]
• 维度名称: height, width, channels
• 视频信息:
  • 高度: 376
  • 宽度: 672
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 60
  • 通道数: 3
  • 包含音频: false

观测图像 (ZEDm右)

• 数据类型: video
• 形状: [376, 672, 3]
• 维度名称: height, width, channels
• 视频信息:
  • 高度: 376
  • 宽度: 672
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 60
  • 通道数: 3
  • 包含音频: false

元数据

• 时间戳: 数据类型 float32，形状 [1]
• 帧索引: 数据类型 int64，形状 [1]
• 情节索引: 数据类型 int64，形状 [1]
• 索引: 数据类型 int64，形状 [1]
• 任务索引: 数据类型 int64，形状 [1]

附加信息

• 主页: 信息缺失
• 论文: 信息缺失
• 引用格式: 信息缺失

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集对于训练和评估算法至关重要。ur-tasks-merged数据集依托LeRobot平台构建，专门针对UR5e机器人设计。该数据集通过采集真实机器人执行任务时的多模态数据而成，涵盖了800个完整任务片段，总计超过118万帧数据。数据以分块形式存储于Parquet文件中，每块包含1000帧，确保了高效的数据管理与访问。采集过程中同步记录了机器人的关节状态、夹爪动作以及来自多个摄像头的视觉信息，形成了结构化的时序数据流，为机器人策略学习提供了丰富的训练素材。

使用方法

为有效利用ur-tasks-merged数据集，研究者可通过Hugging Face平台直接加载其Parquet格式文件。数据集已预划分为训练集，涵盖全部800个任务片段，用户可依据帧索引或任务索引提取特定序列。对于视觉数据处理，配套的MP4视频文件与元数据关联，便于同步加载图像序列与机器人状态。在算法开发中，该数据集适用于训练端到端的机器人策略模型，或用于验证状态估计、多视角融合等模块。建议结合LeRobot代码库中提供的工具进行数据预处理与管道构建，以充分发挥其多模态数据的潜力。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据集对于推动模仿学习与强化学习算法的实际应用至关重要。ur-tasks-merged数据集由HuggingFace的LeRobot项目创建，专门针对UR5e机械臂平台，旨在通过整合多模态观察数据（包括关节状态与多视角视频流）来支持机器人任务的学习与泛化研究。该数据集涵盖了800个任务片段，总计超过118万帧的高频（60 FPS）数据，其核心研究问题聚焦于如何从异构传感器输入中有效学习可迁移的机器人操作策略，从而降低对仿真环境的依赖，加速真实场景下的机器人技能获取。

当前挑战

该数据集致力于解决机器人操作任务中从视觉感知到关节动作的端到端策略学习这一经典难题，其挑战在于如何从高维、异步的多摄像头视频流中提取鲁棒的状态表征，并协调七维连续动作空间以实现精确控制。在构建过程中，研究人员需克服真实世界数据采集的复杂性，包括多传感器时间同步、大规模视频数据的高效压缩与存储（采用AV1编解码），以及在不同光照与物理环境下确保数据的一致性与质量，这些工程挑战使得数据集的创建成为一项资源密集型任务。

常用场景

经典使用场景

在机器人学习领域，ur-tasks-merged数据集以其丰富的多模态数据为机器人策略学习提供了经典范例。该数据集整合了UR5e机械臂在四种不同任务中的操作记录，包含高帧率的双目视觉图像与精确的关节状态及动作数据。研究人员能够利用这些同步记录的状态-动作对，训练端到端的模仿学习或强化学习模型，使机器人从视觉观察中直接推断出控制指令，实现复杂环境下的自主操作能力。

解决学术问题

该数据集有效应对了机器人学习研究中数据稀缺与真实性不足的挑战。通过提供大规模、高质量的真实机器人交互数据，它支持研究者深入探索样本效率提升、跨任务知识迁移以及视觉-动作表征对齐等核心学术问题。其结构化的多视角视频与精确的关节数据，为验证模仿学习算法的泛化能力、研究多模态融合机制以及开发数据驱动的机器人控制范式奠定了坚实的数据基础，推动了机器人学习从仿真到真实世界的过渡。

实际应用

在实际工业与实验室场景中，ur-tasks-merged数据集能够直接赋能机器人智能化升级。基于此数据集训练的模型，可应用于精密装配、物料分拣等流程化任务，提升生产线的柔性与自动化水平。同时，其提供的真实世界交互数据有助于降低机器人编程与调试的门槛，为开发即插即用的自适应机器人系统提供关键数据支持，加速智能机器人在物流、制造乃至家庭服务等领域的落地应用。

数据集最近研究

最新研究方向

在机器人学习领域，大规模、多模态数据集正成为推动模仿学习与强化学习融合的关键资源。ur-tasks-merged数据集以其丰富的UR5e机械臂操作数据，包含高帧率双目视觉观测与关节动作轨迹，为视觉-动作映射研究提供了坚实基础。当前前沿探索聚焦于跨任务泛化与少样本学习，利用该数据集的四种任务序列，研究者致力于开发能够从有限演示中抽象出通用策略的模型。同时，结合生成式人工智能的热潮，该数据集被用于训练视频预测与行为克隆模型，以提升机器人在动态环境中的适应能力，其开源特性进一步加速了社区在真实世界机器人技能迁移方面的创新进程。