PHEVA

PHEVA数据集是一个开创性的资源，旨在通过解决与隐私、伦理问题以及视频数据中人类行为的复杂性相关的关键挑战，推进视频异常检测（VAD）的研究。PHEVA是最大的连续记录VAD数据集，提供了跨多样室内外场景的综合、去标识化的人类注释。PHEVA提供两种不同的数据设置：传统训练和持续学习，可在本仓库中找到。

The PHEVA dataset is a groundbreaking resource aimed at advancing research in Video Anomaly Detection (VAD) by addressing key challenges related to privacy, ethical concerns, and the complexity of human behavior in video data. As the largest continuously recorded VAD dataset, PHEVA provides comprehensive, de-identified human annotations across diverse indoor and outdoor scenarios. PHEVA offers two distinct data settings: traditional training and continual learning, which are available in this repository.

原始信息汇总

PHEVA: Privacy-preserving Human-centric Video Anomaly Detection Dataset

概述

PHEVA 数据集是一个开创性的资源，旨在通过解决与隐私、伦理问题以及视频数据中人类行为的复杂性相关的关键挑战，推动视频异常检测（VAD）的研究。PHEVA 是最大的连续记录 VAD 数据集，提供了跨多样室内和室外场景的综合、去标识化的人类注释。PHEVA 提供两种不同的数据设置：传统训练和持续学习。

异常行为

PHEVA 的个体异常行为包括投掷、举手、躺下和跌倒。在群体情况下，异常行为包括拳打、踢腿、推搡、拉扯、用物体击打和勒颈。

关键特性

• 隐私保护：PHEVA 仅包括去标识化的人类注释，移除所有像素信息以保护隐私。
• 大规模数据：超过 500 万帧带有姿态注释的帧，提供的训练帧数是之前数据集的 5 倍以上，测试帧数是 4 倍以上。
• 特定场景：包括一个专门用于执法和安全人员培训的新型特定场景相机，允许在高度专业化的环境中评估模型。
• 持续学习：PHEVA 支持持续学习的基准测试，弥合了传统训练和实际部署之间的差距。

数据集统计

数据集	总帧数	训练帧数	测试帧数	正常帧数	异常帧数	场景数	相机数
PHEVA	5,196,675	4,467,271	729,404	517,286	212,118	7	7

如何下载数据集

下载注释、异常标签和分割，请使用以下链接：

• 主链接: PHEVA
• 镜像链接 1: PHEVA

注释结构

每个视频都有自己的专用注释文件，格式为 .pkl。文件命名模式为 <camera_number>_<video_number>.pkl。注释文件包含一个字典，格式如下： python { "Frame_number": { "Person_ID": [array([Boudning_Box]), array([Keypoints])] } }

边界框格式为 XYWH，关键点格式为 XYC。

异常标签结构

异常标签格式为 .npy，每个文件是一个 0 和 1 的数组，长度为视频的帧数。0 表示正常帧，1 表示异常帧。

基准测试结果

在 PHEVA 数据集上对几种最先进的姿态基础 VAD 模型进行了基准测试：

模型	AUC-ROC	AUC-PR	EER	10ER
MPED-RNN	76.05	42.83	0.28	0.49
GEPC	62.25	28.62	0.41	0.67
STG-NF	57.57	83.77	0.46	0.90
TSGAD	68.00	34.61	0.36	0.64

持续基准训练和测试集特性

训练数据中异常帧不到 1%，以模拟真实世界场景。测试集经过编辑，正常帧和异常帧的比例约为 1:1，使 AUC-ROC 和 AUC-PR 等指标更具信息性。

引用

如果您在研究中使用 PHEVA，请引用我们的论文：

@article{noghre2024pheva, title={PHEVA: A Privacy-preserving Human-centric Video Anomaly Detection Dataset}, author={Ghazal Alinezhad Noghre and Shanle Yao and Armin Danesh Pazho and Babak Rahimi Ardabili and Vinit Katariya and Hamed Tabkhi}, journal={Arxiv}, year={2024}, }

搜集汇总

数据集介绍

构建方式

PHEVA数据集的构建旨在解决视频异常检测（VAD）领域中的隐私、伦理和人类行为复杂性等关键挑战。该数据集通过连续记录的方式，提供了超过500万帧的姿态标注，涵盖了多样化的室内外场景。PHEVA数据集采用了去识别化的人类标注，确保了隐私保护，同时提供了两种数据设置：传统训练和持续学习，以模拟真实世界的部署环境。

特点

PHEVA数据集的主要特点包括：一是隐私保护，所有人类标注均经过去识别化处理，移除了所有像素信息；二是大规模数据，提供了比以往数据集更多的训练和测试帧；三是特定场景，包括专门用于执法和安全人员培训的特定摄像头，增强了模型的环境适应性；四是支持持续学习，填补了传统训练与实际应用之间的差距。

使用方法

PHEVA数据集的使用方法包括下载标注文件和异常标签，这些文件以.pkl和.npy格式存储。每个视频的标注文件包含帧号、人物ID、边界框和关键点信息，而异常标签文件则是一个由0和1组成的数组，指示每帧是否为异常。用户可以通过提供的代码片段加载和解析这些文件，以便进行模型训练和评估。

背景与挑战

背景概述

PHEVA数据集，全称为Privacy-preserving Human-centric Video Anomaly Detection Dataset，是由Ghazal Alinezhad Noghre等人于2024年创建的开创性资源。该数据集旨在推动视频异常检测（VAD）领域的研究，特别关注隐私保护、伦理问题以及视频数据中人类行为的复杂性。PHEVA是迄今为止最大的连续记录VAD数据集，提供了跨多种室内外场景的综合、去识别化的人类注释。其核心研究问题是如何在保护隐私的前提下，有效检测视频中的异常行为，这对于公共安全、法律执行和安全培训等领域具有深远影响。

当前挑战

PHEVA数据集在构建过程中面临多项挑战。首先，隐私保护要求数据集仅包含去识别化的人类注释，这限制了像素信息的可用性，增加了模型训练的复杂性。其次，数据集规模庞大，包含超过500万帧的姿态注释，这不仅提高了数据处理的计算需求，还要求模型具备高效处理大规模数据的能力。此外，PHEVA引入了持续学习设置，旨在模拟真实世界中的数据流，这要求模型在不断变化的环境中保持高性能。最后，数据集中异常行为的稀有性使得模型在训练过程中难以充分学习异常模式，从而影响检测准确性。

常用场景

经典使用场景

在视频异常检测（VAD）领域，PHEVA数据集的经典使用场景主要集中在隐私保护和人类行为分析上。该数据集通过提供去识别化的人类注释，支持在多种室内外场景中进行异常行为的检测，如摔倒、打斗等。其独特之处在于，PHEVA不仅适用于传统的训练模式，还特别支持持续学习（continual learning），这使得模型能够在实际部署中不断适应新的数据和环境。

解决学术问题

PHEVA数据集解决了视频异常检测领域中长期存在的隐私保护和数据复杂性问题。通过提供大规模的去识别化数据，PHEVA有效减少了隐私泄露的风险，同时其丰富的场景和行为注释为研究者提供了宝贵的资源，推动了基于姿态的异常检测模型的发展。此外，PHEVA引入的持续学习机制，填补了传统训练与实际应用之间的鸿沟，为学术研究提供了新的方向。

衍生相关工作

PHEVA数据集的发布催生了一系列相关研究工作，特别是在隐私保护和持续学习领域。许多研究者基于PHEVA开发了新的异常检测算法，这些算法不仅在学术界获得了广泛关注，也在实际应用中展示了良好的性能。此外，PHEVA还启发了对视频数据隐私保护技术的深入研究，推动了隐私保护框架和算法的创新。这些衍生工作进一步巩固了PHEVA在视频异常检测领域的领先地位。