HuPR

arXiv2022-10-23 更新2024-08-06 收录

下载链接：

http://arxiv.org/abs/2210.12564v1

下载链接

链接失效反馈

官方服务：

资源简介：

HuPR是一个新的人体姿态估计基准数据集，使用毫米波雷达传感器和单目RGB摄像头进行跨模态训练。该数据集特别适用于黑暗和低光环境，且由于其非视觉感知特性，可广泛应用于有隐私顾虑的应用场景，如病房监控系统。

HuPR is a novel benchmark dataset for human pose estimation, constructed with millimeter-wave radar sensors and monocular RGB cameras for cross-modal training. It is particularly suitable for dark and low-light environments, and owing to its non-visual sensing properties, it can be widely applied to scenarios with privacy concerns, such as ward monitoring systems.

创建时间：

2022-10-23

搜集汇总

数据集介绍

构建方式

HuPR数据集的构建过程采用了一种跨校准的毫米波雷达传感器和单目RGB相机，以同步视觉和无线电信号组件。数据集收集了235个序列的室内环境数据，每个序列时长为一分钟，总计约4小时的视频数据。每个序列包含RGB相机帧、水平雷达帧和垂直雷达帧。两个雷达和相机同步配置，每秒捕获10帧，因此每个序列有600个相机-雷达-雷达三重帧。数据集总共包含235个序列中的141,000个三重帧。

使用方法

使用HuPR数据集的方法包括雷达信号预处理、多尺度时空雷达特征融合、姿态细化图卷积网络。首先，对雷达信号进行预处理，提取速度信息。然后，使用多尺度时空特征融合模块融合水平和垂直雷达的信息，生成2D关键点热图。最后，使用姿态细化图卷积网络细化热图，以提高每个关键点的置信度。数据集可用于训练基于毫米波雷达的人体姿态估计模型，并进行评估和比较。

背景与挑战

背景概述

在计算机视觉领域，人体姿态估计（HPE）是一个备受关注的研究课题。传统上，HPE主要依赖于RGB图像，但在光线不足或隐私保护方面存在局限性。为了克服这些问题，HuPR数据集应运而生，这是一个基于毫米波雷达的人体姿态估计基准。该数据集由国立阳明交通大学和华盛顿大学的研究人员于2022年创建，旨在为基于雷达的人体姿态估计提供一个新的基准。HuPR数据集的特点是包含了同步的视觉和无线电信号组件，使用了交叉校准的毫米波雷达传感器和单目RGB相机进行跨模态训练。该数据集在隐私保护、低成本和高可用性方面具有优势，可以广泛应用于需要隐私保护的监控系统中，例如病房内的监控系统。此外，HuPR数据集还提出了一个跨模态训练框架，利用地面真实2D关键点进行训练，从而避免了繁琐的手动标注工作。该框架包括一个新的雷达预处理方法，可以更好地从雷达数据中提取速度信息，以及一个跨自注意力模块（CSAM）用于融合多尺度雷达特征，以及姿态细化图卷积网络（PRGCN）用于细化预测关键点置信度热图。HuPR数据集的提出为人体姿态估计领域带来了新的研究方向，并促进了相关技术的发展。

当前挑战

尽管HuPR数据集在人体姿态估计领域取得了显著进展，但仍面临一些挑战。首先，毫米波雷达信号处理方面存在挑战，需要更好地从雷达数据中提取速度信息，以便更准确地估计人体姿态。其次，如何有效地融合来自水平雷达和垂直雷达的多尺度特征，也是一个重要的挑战。此外，姿态细化方面也存在挑战，需要更精细的网络结构来提高预测关键点的精度，尤其是对于快速移动的边缘关键点，如手腕等。此外，如何将HuPR数据集扩展到多个人体姿态估计，以及如何处理更复杂的姿态，也是未来的研究方向。

常用场景

经典使用场景

HuPR数据集是一个用于毫米波雷达人体姿态估计的基准数据集，它包含了同步的视觉和无线电信号组件。这个数据集使用交叉校准的毫米波雷达传感器和单目RGB相机进行跨模态训练。使用毫米波雷达进行人体姿态估计有两个主要优势：首先，它对黑暗和低光条件具有鲁棒性；其次，它对人类不可见，因此可以广泛应用于有隐私顾虑的应用场景，例如病人房间的监控系统。

解决学术问题

HuPR数据集解决了RGB图像在黑暗和低光条件下难以展示人物姿态的问题，同时解决了基于视觉输入的隐私侵犯问题。此外，该数据集还解决了毫米波雷达传感器在人体姿态估计中难以捕捉高不确定性的身体关键点（如手腕）的问题。

实际应用

HuPR数据集的实际应用场景包括但不限于：病人房间的监控系统、智能安防系统、人机交互系统等。这些系统需要对人体姿态进行精确估计，而HuPR数据集提供的毫米波雷达信号可以有效地解决这个问题。

数据集最近研究