iros

UR5e Dual RealSense Haptic Teleoperation Dataset (LeRobot v2.1) 是一个用于机器人遥操作的数据集。数据集包含UR5e机器人的关节位置（单位为弧度）和关节位置变化量（Δq），采样频率固定为30 Hz。控制循环频率约为500 Hz（RTDE）。观测值定义为`observation.state[t] = q_actual[t]`，动作为`action[t] = Δq[t] = q_actual[t+1] - q_actual[t]`。数据集提供了视觉友好的命名规范，如`shoulder_pan.pos`表示肩部旋转关节的位置，`shoulder_pan.dq`表示其变化量。数据以Parquet格式存储，遵循严格的模式顺序：`action`, `observation.state`, `timestamp`, `frame_index`, `episode_index`, `index`, `task_index`。此外，数据集还包含来自两个RealSense相机的视频数据，存储在MP4格式文件中。该数据集适用于机器人控制、遥操作和强化学习等任务。

搜集汇总

数据集介绍

构建方式

在机器人操作领域，精确的数据采集对于模型训练至关重要。该数据集通过UR5e机械臂与双RealSense摄像头结合触觉遥操作技术构建，控制回路以约500赫兹的频率运行，确保实时性。数据采样固定为30赫兹，每个时间步的观测状态定义为关节实际位置，而动作则表示为相邻时间步关节位置的增量变化，即Δq = q[t+1] - q[t]。数据以Parquet格式存储，严格遵循每集模式，包括动作、观测状态、时间戳等关键字段，为机器人学习提供了结构化基础。

特点

该数据集在机器人遥操作领域展现出显著特点，其核心在于高频率的控制循环与稳定的采样率，确保了数据的时效性和一致性。观测状态和动作的命名采用视觉化友好方式，如'shoulder_pan.pos'和'shoulder_pan.dq'，便于直观理解关节位置与增量变化。此外，数据集包含来自手腕和前置摄像头的视频流，以MP4格式记录，丰富了视觉信息维度。严格的模式顺序，如动作、观测状态、时间戳等字段的排列，增强了数据的可追溯性和分析效率，适用于复杂任务建模。

使用方法

在机器人学习应用中，该数据集的使用方法注重于数据加载与预处理。用户可通过LeRobot v2.1框架访问Parquet文件，每集数据包含动作、观测状态、时间戳等字段，需按严格顺序解析以保持一致性。观测状态可直接用于关节位置分析，而动作作为增量变化，适用于训练预测模型或控制策略。视频文件可从指定路径提取，提供视觉反馈，支持多模态学习。整体上，数据集支持从基础仿真到高级任务部署，鼓励用户结合时间序列和视觉数据，优化机器人行为学习。

背景与挑战

背景概述

在机器人学领域，模仿学习与遥操作技术正逐步成为实现复杂任务自主执行的关键途径。UR5e Dual RealSense Haptic Teleoperation Dataset（LeRobot v2.1）由LeRobot团队于近期构建，旨在为机器人控制策略的研究提供高质量、多模态的真实世界交互数据。该数据集以UR5e机械臂为核心平台，结合双RealSense视觉传感器与触觉反馈系统，以约500赫兹的控制频率和30赫兹的固定采样率，精确记录了关节位置状态及其增量动作序列。其核心研究问题聚焦于如何通过人类遥操作示范数据，训练机器人学习精细的关节空间运动策略，从而推动机器人模仿学习、强化学习及视觉-动作映射等方向的发展，对提升机器人在非结构化环境中的适应性与操作能力具有显著影响力。

当前挑战

该数据集致力于解决机器人模仿学习中从人类示范到自主执行的策略泛化难题，其核心挑战在于如何从高维、异步的多模态观测数据中提取鲁棒且可迁移的运动表征。具体而言，数据采集过程中面临传感器同步精度、触觉信号与视觉信息的时空对齐，以及人类操作者行为噪声引入的示范不一致性等构建挑战。此外，数据的高采样频率与大规模存储需求对硬件系统与数据处理流程提出了严格要求，而关节增量动作的精确标注亦依赖于稳定的控制环路与时间戳同步机制，这些因素共同构成了数据集可靠性与实用性的关键制约。

常用场景

经典使用场景

在机器人学习领域，UR5e Dual RealSense Haptic Teleoperation Dataset 为模仿学习与行为克隆提供了关键数据支撑。该数据集以30赫兹的固定频率采集了UR5e机械臂的关节位置与动作增量，结合双RealSense视觉信息，构建了高保真的状态-动作对序列。研究者可借此训练端到端的策略模型，使机器人通过观察人类演示学习复杂操作技能，如精细物体抓取或装配任务，有效弥合了仿真与真实世界间的鸿沟。

衍生相关工作

围绕该数据集，已衍生出多项机器人学习领域的经典工作。例如，研究者利用其序列数据开发了基于Transformer的时序预测模型，用于动作生成与状态推断；亦有工作结合其多模态特性，探索了视觉-运动联合嵌入方法，提升策略的跨任务泛化能力。这些进展进一步推动了行为克隆、离线强化学习等方向在真实机器人平台上的验证与优化。

数据集最近研究

最新研究方向

在机器人操作与学习领域，UR5e双RealSense触觉遥操作数据集凭借其高频率控制循环与多模态感知特性，正成为模仿学习与强化学习算法验证的前沿平台。该数据集以关节位置增量作为动作表示，结合视觉与状态观测，为研究机器人技能泛化、跨任务迁移及触觉反馈集成提供了丰富实验基础。当前热点聚焦于利用此类真实世界交互数据，推动端到端策略学习在复杂非结构化环境中的适应性，旨在降低机器人部署对精确仿真或大量人工编程的依赖，加速智能体在实际工业与服务场景中的自主决策能力发展。