HRDexDB

HRDexDB是由首尔大学与RLWRLD联合开发的大规模多模态灵巧抓取数据集，包含人类与四种不同构型机器人手对100种物体的协同操作数据。该数据集通过21个外中心相机和2个自中心相机组成的同步采集系统，记录1,400次抓取事件，涵盖3D手部轨迹、物体6D位姿、触觉信号及成败标注等多维度信息。数据采集采用无标记高精度运动重建技术，并集成触觉传感模块，为跨形态灵巧操作研究提供首个对齐的人类-机器人配对数据基准，旨在解决机器人模仿学习中的跨领域迁移难题。

原始信息汇总

HRDexDB 数据集概述

数据集基本信息

• 数据集名称: HRDexDB
• 核心特点: 首个大规模、多模态、包含配对人类与灵巧机器人手操作的数据集。
• 规模: 包含超过 1.4K 个序列，涵盖 100 个不同的物体和 4 种不同的具身形态。
• 采集系统: 使用完全同步的 23 摄像头系统进行捕获。

数据内容与模态

• 配对序列: 提供人类灵巧抓取序列与机器人灵巧抓取序列的配对数据。
• 多模态数据:
  • 视觉数据：同步的多视角视频。
  • 运动学数据：详细的 3D 标注。
  • 触觉数据：为 Inspire 机器人手系列提供丰富的触觉传感器信号。
• 数据多样性: 包含数千次成功和失败的抓取试验。

技术方法与标注

• 重建与估计方法:
  • 基于 HaMeR 的 3D 人手重建。
  • 基于 FoundationPose 的鲁棒 6D 物体姿态估计。
• 精度保证: 通过校准的多摄像头阵列优化机器人在世界坐标系中的 3D 位姿，确保高精度的空间地面实况。
• 采集平台: 使用名为 OMNIDEX 的统一多模态捕获平台，集成了实时机器人本体感知。

应用目标

• 作为多模态策略学习、6D 物体跟踪和跨领域灵巧操作的主要基准。
• 促进物理交互研究，通过遥操作捕获配对的机器人序列。
• 提供人类灵巧性与机器人感知之间的密集对应关系。

搜集汇总

数据集介绍

构建方式

在灵巧操作研究领域，数据采集的全面性与精确性至关重要。HRDexDB的构建依托于一个精心设计的统一多模态捕获系统，该系统集成了21个外中心RGB相机与2个内中心立体相机，实现了全同步的高保真数据流采集。研究团队通过标记物无关的方式，同步记录了人类与多种机器人手（包括Allegro Hand与Inspire系列）对100种多样化物体的抓取序列。数据采集遵循两阶段协议：首先由人类执行自然抓取动作，随后操作员通过基于IMU的动作捕捉系统进行遥操作，驱动机器人手在相同物体上复现语义对齐的抓取策略。每个抓取事件均被标注成功或失败，最终形成了包含1.4K个抓取片段的多模态数据集，涵盖了视觉、运动学、几何与触觉信号。

特点

HRDexDB的突出特点在于其跨具身性与多模态的深度融合。作为首个大规模、标记物无关的配对人-机器人灵巧操作数据集，它首次实现了人类手与多种机器人手在相同物体与任务条件下的语义对齐抓取轨迹。数据集提供了高精度的时空三维真值，包括手部与物体的6D位姿、关节状态、同步多视角RGB视频、内中心视觉流以及机器人指尖的触觉信号。这种多模态的同步记录，特别是触觉信息的集成，为研究接触丰富的物理交互提供了前所未有的数据基础。此外，数据集不仅包含成功的抓取，也系统性地收录了失败案例，为学习鲁棒的操纵策略提供了关键的负样本。

使用方法

HRDexDB为机器人学习与计算机视觉社区提供了研究跨域灵巧操作的基准平台。研究者可利用其配对的人-机器人轨迹，开发与评估从人类演示到机器人执行的技能迁移算法，例如模仿学习、强化学习或生成模型。数据集提供的精确三维手部与物体位姿、多视角视频及触觉信号，可用于训练和验证三维姿态估计、接触预测、多模态表征学习等任务。具体而言，用户可依据论文定义的时序索引序列格式加载数据，将同步的多模态信息输入神经网络，以学习具身无关的抓取策略或进行细致的物理交互分析。该数据集旨在推动能够泛化到不同形态机器人手的通用灵巧操作智能体的发展。

背景与挑战

背景概述

在机器人学领域，实现类人灵巧操作能力是核心研究目标之一。HRDexDB数据集由首尔国立大学的研究团队于2026年创建，旨在解决跨具身灵巧操作策略学习的瓶颈问题。该数据集首次大规模、无标记地同步采集了人类手部与多种机器人手在相同100个物体上的抓取序列，提供了包含三维轨迹、物体六维位姿、触觉信号及多视角视频在内的多模态数据。通过构建精确对齐的人类与机器人操作数据，HRDexDB为跨域模仿学习与多模态策略训练奠定了重要基础，显著推动了具身智能与灵巧操作研究的发展。

当前挑战

HRDexDB致力于解决灵巧操作中跨具身技能迁移的挑战，其核心问题在于如何将人类丰富的操作策略有效地迁移至形态各异的机器人手上。构建过程中的主要挑战包括：在严重的手-物体遮挡环境下实现高精度无标记三维跟踪，这要求设计密集的多视角相机系统以克服单视角信息缺失；同步整合视觉、运动学与触觉等多模态数据，需解决硬件触发同步、坐标系标定与数据流对齐等技术难题；此外，确保人类与机器人操作在语义层面的配对一致性，需设计合理的模仿协议以平衡任务意图与具身差异。

常用场景

经典使用场景

在灵巧操作研究领域，HRDexDB数据集最经典的应用场景是作为跨本体技能迁移的基准测试平台。该数据集通过同步采集人类手部与多种机器人灵巧手在相同物体上的抓取序列，为研究者提供了精确对齐的多模态数据。这些数据包含高保真的三维手部轨迹、物体六维位姿、触觉信号及多视角视频，能够支撑从人类演示到机器人执行的模仿学习算法开发。数据集的结构化设计使得研究者能够系统评估不同算法在跨本体映射、接触动力学建模以及多模态融合方面的性能，为灵巧操作领域的算法创新提供了坚实的实验基础。

实际应用

在实际应用层面，HRDexDB数据集为机器人灵巧操作系统的开发与部署提供了关键数据支撑。基于该数据集训练的模型能够直接应用于服务机器人、工业装配以及医疗辅助等需要精细操作的场景。数据集包含的多种机器人灵巧手配置数据，有助于开发适应不同机械结构的通用抓取策略。其提供的触觉信号与视觉信息的同步关联，为开发闭环反馈控制系统奠定了数据基础。此外，数据集中人类自然的抓取演示为机器人操作界面的自然交互设计提供了参考范式，推动机器人系统向更人性化、更高效的方向发展。

衍生相关工作

HRDexDB数据集的发布催生了一系列围绕跨本体灵巧操作的经典研究工作。在模仿学习领域，研究者基于其配对数据开发了新型的跨模态表示学习方法，实现了人类演示到机器人执行的有效映射。触觉感知方向的研究利用其同步触觉信号，提出了多种触觉-视觉融合的接触状态估计算法。数据集还促进了抓取质量评估模型的发展，通过分析成功与失败案例的物理特征，建立了更精确的抓取稳定性预测框架。这些衍生工作不仅验证了数据集的多功能性，更推动了整个灵巧操作研究社区向数据驱动、物理感知的范式转变。