ComplexVAD

ComplexVAD是一个大规模视频异常检测数据集，由南佛罗里达大学和三菱电机研究实验室共同创建，旨在解决现有数据集中复杂异常不足的问题。该数据集包含104个训练视频和113个测试视频，总计3,681,438帧，分辨率为1080x1920，帧率为30帧/秒。数据集记录了大学校园内的复杂场景，包括行人、自行车、汽车等多种对象的交互异常。数据集的创建过程历时5个月，涵盖了不同时间段和场景变化。ComplexVAD主要用于视频监控领域，旨在通过建模对象之间的交互来检测复杂异常，提升异常检测的准确性和实用性。ComplexVAD is a large-scale video anomaly detection dataset jointly created by the University of South Florida and Mitsubishi Electric Research Laboratories, aiming to address the insufficient complex anomalies in existing datasets. This dataset consists of 104 training videos and 113 test videos, with a total of 3,681,438 frames, a resolution of 1080x1920, and a frame rate of 30 frames per second. The dataset records complex scenarios on university campuses, including interactive anomalies among multiple objects such as pedestrians, bicycles, and cars. The dataset was developed over a period of 5 months, covering different time periods and scene variations. ComplexVAD is primarily used in the field of video surveillance, aiming to detect complex anomalies by modeling the interactions between objects, thereby improving the accuracy and practicality of anomaly detection.

搜集汇总

数据集介绍

构建方式

ComplexVAD数据集的构建过程涉及从多个视频帧中提取对象，并将其表示为图中的节点。每个节点包含对象的当前位置、边界框、未来T帧的运动轨迹、对象类别标识符以及如果是人物，还包括骨骼姿态。节点之间通过三维空间距离低于阈值的方式进行连接。通过这种方式，数据集为视频中的对象交互提供了一个结构化的表示，以便于分析异常行为。

特点

ComplexVAD数据集的主要特点是其包含多种类型的复杂异常，这些异常是由两个或多个对象/演员之间的交互引起的。与现有数据集中主要涉及单个对象或演员的简单异常不同，ComplexVAD鼓励研究更复杂的场景模型，包括对象交互的建模。数据集还包括了真实场景中的背景变化，如阴影、树木摇动和停车场的车辆数量变化，这使得数据集更具挑战性和现实性。

使用方法

使用ComplexVAD数据集的方法主要包括三个阶段：首先，将训练视频中的每个帧转换为图表示；其次，选择训练集中节点对和孤立节点的子集作为示例集；最后，将测试集中节点对和孤立节点与示例集中的对应节点对进行比较。通过计算节点属性之间的距离，任何与所有示例集节点距离较高的测试实例都被视为异常。这种方法允许对异常行为进行时空定位，并通过对象交互的建模来检测复杂异常。

背景与挑战

背景概述

视频异常检测（Video Anomaly Detection, VAD）领域对于监控视频的异常活动检测至关重要，特别是在无法由人工有效监控的大量视频监控数据生成的情况下。现有的视频异常检测数据集往往无法充分代表由对象间交互引起的复杂异常。为了解决这一问题，研究人员Furkan Mumcu、Michael J. Jones、Yasin Yilmaz和Anoop Cherian于2025年1月提出了一个名为ComplexVAD的大型数据集。该数据集旨在鼓励对复杂异常的检测，并提出了一个新的方法来检测这些异常，即通过使用具有时空属性的场景图来模拟对象之间的交互。ComplexVAD数据集包含大量涉及两个或更多对象交互的异常类型，对视频异常检测领域产生了重要影响。

当前挑战

ComplexVAD数据集面临的挑战主要包括：1) 数据集中复杂异常的检测，这些异常通常涉及两个或更多对象的交互，需要更高层次的场景建模来理解和检测；2) 构建过程中的挑战，例如对象检测的准确性直接影响到方法的有效性，以及如何处理对象间交互的建模问题；3) 防止对抗性攻击，确保异常检测系统的鲁棒性。此外，如何生成人类可理解的解释，以便于实际应用中的理解和使用，也是一个重要的挑战。

常用场景

经典使用场景

ComplexVAD数据集主要用于视频异常检测，特别是检测由于物体之间的交互而产生的复杂异常。该数据集包含了大量涉及两个或多个物体/行为者交互的异常事件，如自行车撞车、人从滑板上摔下来以及人坐在汽车上等。通过使用场景图来建模物体之间的交互，ComplexVAD数据集为视频异常检测提供了一个全新的视角和研究方向。

解决学术问题

现有的视频异常检测数据集在表示由物体交互引起的复杂异常方面存在不足。ComplexVAD数据集通过引入大量涉及物体交互的异常事件，解决了这一问题，从而推动了视频异常检测领域的研究。此外，ComplexVAD数据集还为研究者提供了一个新的研究方向，即如何利用场景图来建模物体之间的交互，从而提高视频异常检测的准确性和鲁棒性。

衍生相关工作

ComplexVAD数据集的提出，推动了视频异常检测领域的研究，并衍生了许多相关的工作。例如，一些研究者基于ComplexVAD数据集，提出了基于场景图的视频异常检测方法，通过建模物体之间的交互来提高视频异常检测的准确性和鲁棒性。此外，还有一些研究者利用ComplexVAD数据集，研究了如何解释视频异常检测模型，使其更好地应用于实际场景。