HARPER

HARPER数据集是由维罗纳大学和格拉斯哥大学的研究人员共同创建，专注于从四足机器人Spot的视角进行3D人体姿态估计和预测。数据集包含607个序列，总计超过60000张RGB图像、灰度图像、深度帧和多传感器记录的3D数据。数据集通过Spot机器人内置的立体摄像头和6摄像头OptiTrack系统同步记录，提供毫米级精度的地面实况骨骼表示。数据集的应用领域包括3D人体姿态估计、姿态预测和碰撞预测，旨在解决机器人与人类互动中的实时适应性和无缝交互问题。

The HARPER Dataset was jointly developed by researchers from the University of Verona and the University of Glasgow, focusing on 3D human pose estimation and prediction from the perspective of the quadruped robot Spot. The dataset consists of 607 sequences, totaling over 60,000 RGB images, grayscale images, depth frames, and multi-sensor recorded 3D data. It was synchronously recorded using Spot’s built-in stereo cameras and a 6-camera OptiTrack system, providing ground-truth skeletal representations with millimeter-level accuracy. Its application fields include 3D human pose estimation, pose prediction and collision prediction, aiming to address the issues of real-time adaptability and seamless interaction in robot-human interactions.

搜集汇总

数据集介绍

构建方式

在机器人感知领域，HARPER数据集的构建体现了对四足机器人视角下三维人体姿态分析的深度探索。该数据集通过波士顿动力公司的Spot机器人内置传感器（包括五个灰度+深度传感器及一个安装在机械臂上的RGB-D相机）采集数据，同时利用六相机OptiTrack运动捕捉系统提供毫米级精度的三维骨骼真值。数据采集过程中，17名参与者执行了15种涉及不同协作程度的动作，其中10种包含与机器人的物理接触。所有传感器数据经过严格同步，时间对齐误差低于2毫秒，确保了机器人视角与全局视角数据的一致性，从而为部分可见人体姿态的重建提供了可靠基础。

特点

HARPER数据集的显著特点在于其专注于四足机器人的独特感知视角。由于Spot机器人高度较低，其传感器往往仅能捕获人体的局部信息，这为三维姿态估计与预测带来了前所未有的挑战。数据集不仅提供了机器人传感器采集的多模态数据（包括RGB、深度与灰度图像），还通过高精度OptiTrack系统生成了误差低于0.035毫米的21关节点人体与机器人骨骼真值。此外，数据集涵盖了从无意碰撞到有意接触（如触摸、踢击、拳击）的多样化物理交互场景，并附带了可复现的基准测试，支持三维人体姿态估计、姿态预测与碰撞预测等任务，为机器人视觉感知研究提供了丰富且精确的实验平台。

使用方法

HARPER数据集的使用方法围绕其三大基准任务展开。在三维人体姿态估计任务中，研究者可基于机器人采集的灰度图像与深度图，利用HRNet等二维姿态估计器提取可见关节点，再通过深度信息将其提升至三维空间，并与OptiTrack真值进行对比评估。对于三维人体姿态预测任务，数据集提供了STS-GCN、SiMLPe与EqMotion等基线模型，支持以完整或部分可见骨骼序列作为输入，预测未来400毫秒或1000毫秒的人体运动轨迹。在碰撞预测任务中，用户可结合已知的机器人运动规划与预测的人体姿态，通过几何模型检测潜在接触，评估算法在多种物理交互场景下的性能。数据集的划分已明确训练集与测试集，确保实验的可比性与可重复性。

背景与挑战

背景概述

在工业5.0时代背景下，人机协作正逐步取代传统人机交互，成为机器人技术发展的核心方向。HARPER数据集由意大利维罗纳大学和英国格拉斯哥大学的研究团队于2024年联合创建，旨在解决四足机器人Spot在动态交互场景中从机器人视角进行三维人体姿态估计与预测的难题。该数据集通过集成Spot内置传感器与高精度OptiTrack运动捕捉系统，首次实现了在部分人体可见条件下的三维骨骼重建，为人机协作中的实时行为理解与安全规划提供了关键数据支持，推动了自适应机器人系统的发展。

当前挑战

HARPER数据集面临的挑战主要体现在两个方面：在领域问题层面，机器人视角下的人体姿态分析因摄像头靠近地面而仅能捕获人体局部信息，这为三维姿态的完整重建带来了显著困难；在构建过程中，数据集需同步多传感器数据（包括Spot的5个灰度+深度传感器与6台OptiTrack相机），并确保在用户意外移出捕捉区域或发生遮挡时，通过线性插值等技术维持毫米级精度的骨骼标注连续性，这些因素共同增加了数据采集与处理的复杂性。

常用场景

经典使用场景

在机器人学与人机交互领域，HARPER数据集为三维人体姿态估计与预测研究提供了独特视角。该数据集聚焦于四足机器人Spot的传感器视角，捕捉人类与机器人在动态交互中的部分可见人体姿态，尤其强调物理接触场景。其经典应用场景在于训练和评估算法，以解决从机器人有限高度和近距离视角下重建完整三维人体骨架的挑战，这在传统数据集中较为罕见。

解决学术问题

HARPER数据集主要解决了从机器人视角进行三维人体姿态分析与预测中的关键学术问题。它通过提供高精度运动捕捉系统生成的毫米级精度地面真值，支持研究在人体仅部分可见条件下的姿态估计难题。此外，数据集涵盖了故意与非故意的物理接触动作，为碰撞预测和意图理解等前沿课题提供了实证基础，推动了从刚性机器人向协作机器人转变的理论探索。

衍生相关工作

基于HARPER数据集，研究者已开展多项经典工作，主要集中在三维姿态估计与预测算法的优化上。例如，采用HRNet进行二维姿态检测，并结合深度信息提升三维重建精度；在姿态预测方面，STS-GCN、SiMLPe和EqMotion等基线方法被应用于处理部分可见姿态序列，并利用CSDI模型进行时间序列补全。这些工作不仅验证了数据集的实用性，还为后续研究提供了可复现的基准，推动了机器人视觉感知领域的技术进步。