Driver Anomaly Detection (DAD) dataset

Driver Anomaly Detection (DAD)数据集是由慕尼黑工业大学创建的一个大规模、多视角、多模态的视频基准数据集，旨在通过深度学习方法监测驾驶员行为异常。该数据集包含正常驾驶视频及一系列异常驾驶行为，支持深度卷积神经网络（CNN）的训练。数据集采用前视和顶视两种视角，以及深度和红外两种模态，确保在不同光照条件下系统的可操作性。DAD数据集特别适用于开放集识别场景，即在测试时可能出现未知行为，这对于提高驾驶员监控系统的鲁棒性至关重要。

The Driver Anomaly Detection (DAD) dataset is a large-scale, multi-view, multi-modal video benchmark dataset developed by the Technical University of Munich. It is designed to detect abnormal driver behaviors using deep learning approaches. This dataset contains both normal driving videos and a range of abnormal driving behaviors, supporting the training of deep convolutional neural networks (CNNs). The dataset adopts two perspectives (front-view and top-view) and two modalities (depth and infrared), ensuring the system's operability across varying lighting conditions. The DAD dataset is particularly well-suited for open-set recognition scenarios, where unknown driving behaviors may emerge during testing, which is critical for enhancing the robustness of driver monitoring systems.

搜集汇总

数据集介绍

构建方式

该数据集通过驾驶模拟器收集驾驶员的正常驾驶和异常驾驶视频，使用两个相机从顶部和正面视角同步记录深度和红外模态的视频。数据集分为训练集和测试集，训练集包含25名驾驶员的正常驾驶和异常驾驶视频，测试集包含6名驾驶员的视频，其中包含训练集中未出现的16种异常驾驶行为。视频以45帧每秒的速率记录，并使用深度学习模型进行预处理和编码。

特点

DAD数据集是第一个为基于视觉的驾驶员监控系统设计的视频开放式识别数据集，具有多视角（顶部和正面）和多模态（深度和红外）的特点，足够大以训练深度卷积神经网络架构。此外，测试集中包含训练集中未出现的异常驾驶行为，这要求模型能够识别未知异常行为。

使用方法

使用DAD数据集进行驾驶员异常检测，首先需要使用深度学习模型对训练集进行训练，学习正常驾驶和异常驾驶之间的差异。在测试阶段，模型将接收新的视频片段，并将其编码为特征向量。然后，计算测试片段与正常驾驶模板向量之间的余弦相似度，如果相似度低于预设阈值，则将片段分类为异常驾驶。

背景与挑战

背景概述

驾驶已成为现代生活中不可或缺的一部分，提供了高水平的便捷移动性。然而，这种对驾驶的强烈依赖也导致了交通事故数量的增加。世界卫生组织估计，每年有125万人死于交通事故，高达5000万人受伤。人为因素是几乎90%的道路事故的主要贡献原因，其中分心是大约68%的主要原因。因此，开发一个可靠的驾驶员监控系统（DMS），该系统能够监督驾驶员的表现、警觉性和驾驶意图，对于预防人为相关道路事故至关重要。由于深度学习方法在计算机视觉应用中的日益普及，已经出现了多个数据集，以促进基于视频的驾驶员监控系统的研究。然而，所有这些数据集都被划分为有限数量的已知类别，例如正常驾驶类别和几个分心类别，其训练和测试分布相等。换句话说，这些数据集是为封闭集识别设计的，其中测试集中的所有样本都属于网络训练时使用的K个已知类别之一。这引发了一个非常重要的问题：如果未知类别被引入网络，系统会做出什么反应？由于驾驶员在驾驶时可能会做出无限多的分心动作，因此这种不明确性是一个严重的问题。与现有数据集和大多数DMS应用程序研究不同，我们为基于视频的驾驶员监控系统提出了一种开放集识别方法。由于DMS的主要目的是确保驾驶员专心安全地驾驶，这在本文中被称为正常驾驶，因此我们提出了一种深度对比学习方法，以学习一种度量标准，以便区分正常驾驶和异常驾驶。为了促进进一步的研究，我们引入了一个大型、多视图、多模式的驾驶员异常检测（DAD）数据集。DAD数据集的训练集中包含正常驾驶类别以及一组异常驾驶动作。然而，DAD数据集的测试集中有几种未见过的异常动作，仍然需要从正常驾驶中区分出来。我们认为DAD数据集解决了驾驶员监控的真实性质。

当前挑战

DAD数据集的主要挑战包括：1）开放集识别问题：由于驾驶员在驾驶时可能会做出无限多的异常动作，因此需要设计一种能够识别未见过的异常动作的方法。2）构建过程中遇到的挑战：为了构建DAD数据集，研究人员使用了驾驶模拟器来记录驾驶员的行为，这需要确保数据集的质量和多样性。3）对比学习方法的挑战：虽然对比学习在无监督度量学习中很受欢迎，但是需要证明其在异常检测任务中的有效性。4）资源效率的挑战：由于DMS应用程序需要在汽车中部署，因此需要设计一种资源高效的架构。

常用场景

经典使用场景

在视觉驾驶员监控系统（DMS）领域，DAD数据集被广泛应用于检测驾驶员的异常行为。该数据集包含正常驾驶和一系列异常驾驶行为的视频，旨在帮助研究人员开发能够从正常驾驶中区分出异常驾驶的系统。DAD数据集的独特之处在于其开放集识别的设计，即在测试集中包含未在训练集中出现过的异常驾驶行为，这使得数据集能够模拟现实世界中可能出现的未知异常行为。DAD数据集常用于训练深度对比学习模型，通过对比正常驾驶和异常驾驶之间的差异，学习到一个能够区分两者的度量标准。

实际应用

DAD数据集在实际应用中主要用于提高驾驶员监控系统的性能，尤其是在检测驾驶员的异常行为方面。通过训练基于DAD数据集的模型，可以实现对驾驶员行为的实时监控，及时发现并预警驾驶员的异常行为，从而减少交通事故的发生。此外，DAD数据集的多视角和多模态特性使得系统在不同光照条件和驾驶场景下都能保持较高的识别准确率，具有较强的实用性。

衍生相关工作

DAD数据集的提出衍生了一系列相关研究工作。例如，一些研究利用DAD数据集探索了轻量级CNN架构在驾驶员监控系统中的应用，以降低模型对硬件资源的依赖。此外，一些研究还基于DAD数据集提出了改进的对比学习方法和特征融合策略，以进一步提高模型的识别性能。这些相关研究工作不仅推动了DAD数据集在驾驶员监控系统中的应用，也为开放集识别问题提供了新的研究思路和方法。