hyundai-uiwang-right

Hyundai Uiwang — 右臂操作数据集（LeRobot v3.0）是一个用于机器人操作任务的开源数据集。它通过遥操作方式收集了机器人操作演示，包含118个独立的演示片段，总计77,490帧数据，采集频率为30 Hz。演示使用现代HDRB (HDR35_20) 机械臂搭配INSPIRE-RH56灵巧手（右手）作为机器人平台。每个数据样本包括动作指令和多种观测信息：26维机器人状态（由6维机械臂关节状态和20维手部状态构成，其中手部实际使用6个主动控制维度）、来自前置摄像头和腕部摄像头的RGB图像观测（分辨率480x640）、30维夹爪传感器数据和6维腕部力/力矩传感器数据。该数据集适用于机器人模仿学习、强化学习、策略学习等研究，特别专注于机械臂与灵巧手协同操作的任务。The Hyundai Uiwang — Right Arm Manipulation Dataset (LeRobot v3.0) is an open-source dataset for robotic manipulation tasks. It contains robot operation demonstrations collected via teleoperation, with 118 independent episodes, totaling 77,490 frames at a frequency of 30 Hz. The demonstrations use the Hyundai HDRB (HDR35_20) robotic arm paired with the INSPIRE-RH56 dexterous hand (right hand) as the robot platform. Each sample includes action commands and multiple observation types: 26-dimensional robot state (composed of 6-dimensional arm joint state and 20-dimensional hand state, with the hand using 6 active control dimensions), RGB image observations from a front camera and a wrist camera (resolution 480x640), 30-dimensional gripper sensor data, and 6-dimensional wrist force/torque sensor data. This dataset is suitable for research in robot imitation learning, reinforcement learning, policy learning, and particularly focuses on tasks involving coordinated manipulation with robotic arms and dexterous hands.

原始信息汇总

数据集概述

Hyundai Uiwang — RIGHT arm manipulation dataset (LeRobot v3.0)

• 任务类型：机器人操作（Robotics, Manipulation）
• 许可协议：其他（Other）

数据规模

• 总帧数：77,490 帧
• 序列长度：118 个片段（episodes）
• 采样频率：30 Hz

机器人平台

• 机械臂：HDRB (HDR35_20) 右臂
• 灵巧手：INSPIRE-RH56 右手（20 个自由度，其中 6 个主动关节）

动作 / 状态空间

• 动作 / 观测状态：26 维
  • 机械臂：6 维
  • 灵巧手：20 维（RH56 使用 6 个主动维度）

观测传感器

• 相机：
  • observation.images.front_rgb (480×640 像素)
  • observation.images.wrist_rgb (480×640 像素)
• 额外本体感知：
  • observation.gripper_sensor：30 维
  • observation.wrist_ft_sensor：6 维

数据加载示例

python from lerobot.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("Ngseo/hyundai-uiwang-right")

标签与标记

• 标签：LeRobot, robotics, manipulation, hyundai-uiwang

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的质量与构建方式直接决定了模型学习的效率与泛化能力。hyundai-uiwang-right数据集由现代汽车集团（Hyundai）在京畿道义王市的研究中心采集，专注于右臂操作任务的遥操作示教。该数据集共包含118个episode，累计77,490帧，采样频率为30 Hz。机器人平台采用HDRB（HDR35_20）机械臂与INSPIRE-RH56灵巧手作为右侧操作单元。动作空间与机器人状态维度均为26维，其中机械臂6维，手部20维（RH56实际使用6个主动维）。为感知操作环境与末端细节，系统配备了前视与腕部两个RGB摄像头，分辨率均为480×640，同时采集手部传感器（30维）与腕部力/力矩传感器（6维）数据，以提供丰富的本体感知信息。

特点

该数据集最显著的特点在于其多模态感知与高维度动作空间的设计。相比仅依靠视觉的简单数据集，hyundai-uiwang-right整合了视觉、力觉与手部触觉信息，能够更全面地捕捉复杂操作场景中的物理交互细节。前视与腕部双摄像头配置分别提供全局场景与局部抓取视角，有助于模型学习多视角下的空间推理。此外，26维的动作与状态空间覆盖了从大范围臂部运动到精密手部动作的完整控制层次，尤其适合训练具有精细操作能力的机器人策略。118个episode的规模虽不算庞大，但高帧率（30 Hz）与密集的传感器记录保证了时间序列的连续性，为模仿学习与强化学习提供了有效支撑。

使用方法

该数据集基于LeRobot框架发布，使用方式简洁且标准化。用户只需安装LeRobot库，然后通过`from lerobot.datasets.lerobot_dataset import LeRobotDataset`导入数据集类，再使用`LeRobotDataset("Ngseo/hyundai-uiwang-right")`即可直接加载完整的演示数据。加载后的数据集支持episode级与帧级索引，可便捷地提取动作、状态、图像及各类传感器数据。由于数据已按LeRobot v3.0规范组织，用户可无缝对接LeRobot生态下的训练与评估工具，进行行为克隆、扩散策略等算法的开发与验证。该数据集还兼容常见的深度学习框架，便于研究者快速构建和迭代机器人操作模型。

背景与挑战

背景概述

在机器人操作领域，遥操作示教数据集的构建是推动模仿学习与灵巧操作技术发展的关键基石。由韩国现代汽车集团与相关研究机构合作创建的Hyundai Uiwang — RIGHT Arm Manipulation Dataset，于2023年发布并开源至LeRobot平台，聚焦于高自由度机械臂与灵巧手的协同操作任务。该数据集由HDRB（HDR35_20）六自由度机械臂与INSPIRE-RH56二十自由度灵巧手（其中6个主动自由度）构成，共计118个演示片段、77,490帧时序数据，采样频率为30 Hz。核心研究问题在于为双臂灵巧操作提供统一、可复现的基准数据，尤其针对工业场景中精细操纵的泛化学习。其影响力体现在填补了高自由度非刚性手部操作数据集的空白，为后续基于视觉与力觉融合的机器人学习模型提供了标准化训练资源。

当前挑战

该数据集所解决的核心领域问题在于高自由度灵巧手与机械臂的协同操作策略学习，传统依赖固定夹爪的抓取数据难以覆盖复杂工件装配、柔性物体操控等任务需求。具体挑战包括：1）灵巧手30维自由度（含6个主动轴）与机械臂6维联合动作空间的强耦合建模，导致策略训练中维度灾难与样本效率低下；2）多模态传感器同步难题，需对齐480x640视觉流、30维触觉传感器与6维腕部力/力矩数据在30 Hz下的时序一致性；3）数据采集中的遥操作延迟与人类演示者疲劳误差，118个仅包含右侧手臂的独立演示片段缺乏左侧协同的对称性约束。此外，工业环境下光照反射、线缆遮挡等物理干扰进一步增加了视觉特征提取的鲁棒性要求。

常用场景

经典使用场景

在机器人学与灵巧操控领域，精细化的远程操作演示数据集是推动具身智能发展的关键基石。hyundai-uiwang-right数据集以其丰富的118个操作片段、约7.7万帧高频采样数据，成为研究高精度机械臂与多指灵巧手协同控制的经典资源。研究者常利用该数据集中的26维动作空间（6维臂部控制与20维手部控制）和双视角视觉输入，构建端到端的模仿学习或行为克隆模型，从而复现复杂的组装、抓取与精细操作任务。

实际应用

在产业落地层面，该数据集所蕴含的远程操作示范范式，为工业机器人从预设编程向‘示教-学习’的柔性化演进提供了切实路径。例如，在精密装配、医疗手术辅助以及危险环境下的远程维护等场景中，基于该数据集训练的模型能够理解复杂的操作意图并适应多变的部件形态。此外，数据集格式遵循LeRobot标准，极大便利了从仿真到实机部署的迁移流程，加速了智能产线与人机协作系统的实际部署进程。

衍生相关工作

围绕该数据集，学界已衍生出多项创新性工作。在算法层面，基于其提供的双视角图像与高维动作空间，研究者发展了结合扩散策略与视觉-运动先验的操控框架，显著提升了策略泛化能力。在系统层面，该数据集被用作评测多指手物理交互中的接触动力学建模方案的基准，催生了融合触觉与视觉的混合感知策略。同时，其公开的完整采集协议也启发了后续多场景、多构型机器人数据集的构建规范，为构建大规模开源机器人操控语料库奠定了方法论基础。