HuPR

该数据集是一个用于人类姿态估计的基准数据集，它结合了同步视觉和毫米波雷达数据，旨在进行跨模态训练。该数据集包含了来自两个雷达传感器的RGB相机帧和雷达帧，涵盖了六位受试者执行的动作。这些序列专为训练、验证和测试人类姿态估计模型而设计。数据集规模包含141,000组相机-雷达-雷达帧三元组，其任务定位于人类姿态估计。

This is a benchmark dataset for human pose estimation, which integrates synchronized visual and millimeter-wave radar data for cross-modal training. It contains RGB camera frames and radar frames from two radar sensors, covering actions performed by six subjects. These sequences are specifically designed for training, validating, and testing human pose estimation models. The dataset comprises 141,000 camera-radar-radar frame triplets, with its task focused on human pose estimation.

搜集汇总

数据集介绍

构建方式

在毫米波雷达人体姿态估计领域，HuPR数据集的构建体现了多模态融合的前沿理念。该数据集通过两台经过交叉校准的IWR1843BOOST毫米波雷达传感器与一台单目RGB相机同步采集数据，构建了包含视觉与射频信号组件的协同基准。采集过程在室内环境中进行，总计录制了235段时长一分钟的序列，生成141,000组同步数据三元组。雷达传感器以10帧/秒的速率捕获原始数据，其维度经预处理后统一为64×64×64×8。数据采集时，六名受试者执行了静态姿势、站立挥手及行走挥手三类动作，确保了动作模式的多样性。地面真实二维关键点则通过预训练的HRNet姿态估计网络从RGB图像中自动生成，避免了繁琐的人工标注。

特点

HuPR数据集的核心特点在于其开创性地融合了毫米波雷达的速度信息与空间信息，为射频信号人体姿态估计提供了更丰富的特征表示。相较于传统仅包含距离-方位-俯仰信息的雷达数据，HuPR通过创新的预处理方法生成了速度-距离-多普勒-方位-俯仰图，显著增强了对快速移动关节（如手腕）的捕捉能力。数据集具有对黑暗与低光照条件的高度鲁棒性，且射频信号的非视觉感知特性使其天然适用于病房监控等注重隐私保护的场景。此外，数据集所采用的雷达传感器经济易得，硬件设置简便，为相关研究的复现与推广降低了门槛。

使用方法

该数据集主要用于训练与评估基于毫米波雷达的二维人体姿态估计模型。研究者可利用其提供的同步雷达序列与对应的二维关键点热图进行跨模态训练。典型的使用流程是，将水平与垂直雷达的预处理后序列输入至如论文所提出的多尺度时空特征融合网络，该网络融合了交叉与自注意力模块以关联双雷达特征，并利用姿态优化图卷积网络对初始热图进行置信度优化。数据集已划分为训练、验证与测试集，支持采用滑动窗口方式纳入时序上下文信息进行预测。评估时，可遵循通用实践，采用基于关键点相似度的平均精度指标来衡量模型在14个关键点上的预测性能。

背景与挑战

背景概述

毫米波雷达人体姿态估计作为计算机视觉领域的前沿研究方向，旨在克服传统基于RGB图像的方法在低光照环境下的局限性以及潜在的隐私泄露问题。HuPR数据集由国立阳明交通大学与美国华盛顿大学的研究团队于2022年共同创建，其核心研究目标在于构建一个同步采集视觉与射频信号的多模态基准数据集，以推动基于毫米波雷达的隐私保护型人体姿态估计算法的发展。该数据集通过交叉校准的毫米波雷达传感器与单目RGB相机，系统性地生成了涵盖静态动作、站立挥手及行走挥手等多种人体动作的序列数据，为射频信号在复杂环境下的姿态感知提供了重要的实验基础，对智能监控、医疗看护等隐私敏感场景的技术演进具有显著的学术影响力。

当前挑战

HuPR数据集所针对的人体姿态估计任务面临两大核心挑战：其一，在领域问题层面，基于射频信号的人体姿态估计需解决毫米波雷达数据固有的低空间分辨率问题，尤其是在方位角与俯仰角维度上的信息稀疏性，导致对腕部、肘部等快速运动关键点的捕捉精度不足；其二，在数据集构建过程中，研究团队需克服多传感器同步校准的技术难题，确保毫米波雷达与RGB相机的时间与空间对齐，同时设计高效的雷达信号预处理流程以提取多普勒速度信息，并借助预训练的2D姿态估计网络生成可靠的伪标签，从而避免繁琐的人工标注工作。这些挑战共同制约了射频姿态估计模型在复杂动作与多人物场景下的泛化能力。

常用场景

经典使用场景

在计算机视觉与无线感知交叉领域，毫米波雷达人体姿态估计正成为新兴研究方向。HuPR数据集作为该领域的基准数据集，其经典使用场景聚焦于利用毫米波雷达信号在低光照或完全黑暗环境下进行二维人体关键点检测。该场景通过同步采集的雷达点云与RGB图像数据，构建跨模态训练框架，使得模型能够仅依赖雷达信号实现精确的姿态重建，有效克服了传统视觉方法在光照不足时的性能瓶颈。

实际应用

在实际应用层面，HuPR数据集所支撑的技术在医疗监护、智能安防与隐私敏感场景中展现出重要价值。例如，在病房监控系统中，毫米波雷达能够在不侵犯患者视觉隐私的前提下，持续监测其体位变化与活动状态，及时发现跌倒或异常行为。该技术对障碍物具有一定穿透能力，且不受光照条件制约，可部署于夜间安防、浴室监护等对隐私与可靠性要求极高的环境，为以人为本的智能感知系统提供了新的技术路径。

衍生相关工作

HuPR数据集的发布促进了射频感知与姿态估计领域的系列衍生研究。其提出的跨模态自注意力模块（CSAM）与姿态优化图卷积网络（PRGCN）为后续工作提供了重要的架构参考。相关研究在此基础上探索了多人物姿态估计、三维骨骼重建、以及动态场景下的实时感知等方向。同时，数据集采用的雷达信号预处理方法，特别是速度信息的提取与融合策略，被后续研究广泛借鉴，推动了毫米波雷达在行为识别、手势理解等细粒度感知任务中的应用深化。