Detection of Traffic Anomaly (DoTA)

DoTA数据集是由密歇根大学和印第安纳大学合作创建的大规模交通视频异常检测数据集，包含4677个视频，用于支持视频异常检测（VAD）和视频动作识别（VAR）研究。该数据集提供了详细的时间、空间和类别标注，旨在通过一个'何时-何地-什么'的分析框架来检测、定位和识别驾驶视频中的异常事件。DoTA数据集不仅规模庞大，而且是首个支持全面交通异常研究的数据集，涵盖了时间、空间和类别的多维度分析。数据集的创建过程涉及从YouTube收集视频，并通过自定义工具进行标注，确保了标注的高质量和一致性。DoTA数据集的应用领域广泛，主要用于解决交通视频中的异常检测问题，支持高级驾驶辅助系统（ADAS）的研发。

The DoTA dataset is a large-scale traffic video anomaly detection dataset co-created by the University of Michigan and Indiana University, consisting of 4,677 videos, designed to support research on video anomaly detection (VAD) and video action recognition (VAR). This dataset provides detailed temporal, spatial, and categorical annotations, aiming to detect, localize, and identify abnormal events in driving videos via a 'when-where-what' analytical framework. Not only is the DoTA dataset large in scale, but it is also the first dataset that supports comprehensive traffic anomaly research, covering multi-dimensional analyses across temporal, spatial, and categorical dimensions. The creation of the dataset involves collecting videos from YouTube and annotating them with custom-built tools, ensuring high quality and consistency of the annotations. The DoTA dataset has a wide range of application scenarios, mainly used to address anomaly detection issues in traffic videos and support the development of advanced driver assistance systems (ADAS).

搜集汇总

数据集介绍

构建方式

DoTA数据集的构建采用了从YouTube频道收集的超过6000个视频片段，并从中挑选出不同国家、不同天气和光照条件下多样化的行车记录仪事故视频，最终得到4677个分辨率为1280×720的视频。原始视频为30fps，但为了标注和实验需要，提取了10fps的帧率。标注工作由12名具有不同驾驶经验的人类标注员完成，每个视频由三名标注员进行标注，并对时间和空间（类别）标注进行合并，以最小化个体偏差。时间标注包括异常事件的开始和结束时间，空间标注包括异常对象的边界框跟踪，异常类别分为9个，并根据视角分为18个类别。

特点

DoTA数据集具有以下特点：1）大规模：是目前最大的交通异常数据集；2）详尽的标注：包含时间、空间和类别标注，支持完整的When-Where-What异常分析；3）多样性：包含不同国家、不同天气和光照条件下的视频，以及18种异常类别。

使用方法

DoTA数据集可以用于视频异常检测（VAD）和视频动作识别（VAR）等任务。对于VAD任务，可以使用STAUC和AUC两种指标进行评估。对于VAR任务，可以使用表5中列出的方法进行评估。

背景与挑战

背景概述

交通异常检测在智能驾驶辅助系统（ADAS）中扮演着至关重要的角色，它涉及对事故场景的准确感知，以便对可能发生的事故进行及时的响应和事件数据记录。本文提出的事故感知流程为When-Where-What，旨在回答以下关键问题：异常事件何时开始和结束？异常区域在视频帧中的位置？异常事件的类型是什么？该流程可映射到两个计算机视觉任务：视频异常检测（VAD）和视频动作识别（VAR）。VAD通过预测每帧的异常分数来回答When问题，并计算像素级或对象级的异常分数作为中间步骤，隐式地回答Where问题。VAR通过分类视频类型来回答What问题。深度学习方法在VAD和VAR方面的训练得益于大规模的标注数据集。然而，针对第一人称交通视频中的动态场景，缺乏大规模的基准数据集以及有效的评估指标。本文提出了一种新的数据集，称为Detection of Traffic Anomaly (DoTA)，包含4,677个视频，并具有时间、空间和类别注释。DoTA数据集的引入为交通异常检测和识别提供了重要的数据支持，并提出了一个新的空间时间曲线下面积（STAUC）评估指标，用于更好地评估VAD性能。DoTA数据集是目前最大的交通异常数据集，也是第一个支持从When-Where-What角度进行交通异常研究的公共数据集。

当前挑战

DoTA数据集的研究背景主要针对交通异常检测的挑战，尤其是在动态场景下。该数据集解决了在第一人称交通视频中，缺乏大规模基准数据集和有效评估指标的问题。构建过程中遇到的挑战包括：1) 对动态场景下的异常事件进行准确标注，以确保数据集的质量和可靠性；2) 提出新的评估指标STAUC，以更好地评估VAD性能，克服了传统AUC指标的不足。DoTA数据集在交通异常检测领域具有重要意义，为研究人员提供了宝贵的数据资源，推动了相关领域的发展。

常用场景

经典使用场景

在交通视频异常检测（VAD）和视频动作识别（VAR）领域，DoTA数据集为研究人员提供了一个庞大的基准数据集，以支持When-Where-What分析。DoTA包含了4,677个视频，涵盖了18个异常类别，并提供了丰富的时空和类别注释。该数据集最经典的使用场景是通过时空异常检测和动作识别技术，对驾驶视频中的异常事件进行检测、定位和识别。DoTA的时空注释允许研究人员在视频帧中对异常区域进行精确的定位，从而实现对异常事件的全面理解。

衍生相关工作

DoTA数据集的引入，衍生了许多相关的经典工作。例如，研究人员使用DoTA数据集训练了多种VAD和VAR模型，并通过STAUC指标评估了它们的性能。此外，DoTA数据集还被用于研究在线检测交通异常和验证自动驾驶技术。这些研究工作推动了交通视频异常检测和动作识别领域的研究进展，为开发更先进的驾驶辅助系统（ADAS）提供了重要的理论和实践基础。DoTA数据集的引入，为相关领域的研究人员提供了一个宝贵的资源，有助于推动该领域的研究和应用发展。

数据集最近研究

最新研究方向

DoTA数据集的引入，为交通异常检测领域提供了一个新的研究方向，即“何时、何地、何事”的异常检测流程。该流程不仅关注异常事件的发生时间，还关注异常区域的位置和异常类型。通过DoTA数据集的丰富标注，研究者可以更全面地分析交通异常事件。此外，DoTA数据集还提出了一个新的时空评价指标STAUC，该指标不仅考虑了异常分数，还考虑了异常区域的位置信息，从而更全面地评估了VAD方法的性能。

相关研究论文

• When, Where, and What? A New Dataset for Anomaly Detection in Driving Videos

  密歇根大学 · 2020年