DMD

DMD数据集是由维科姆科技基金会创建的大型多模态驾驶监控数据集，专注于注意力与警觉性分析。该数据集包含41小时的RGB、深度和红外视频，涵盖37名司机在多种驾驶场景下的行为，如分心、视线分配、疲劳等。数据集设计旨在解决自动驾驶从SAE Level2向Level-3过渡中的关键问题，通过丰富的场景特征和多视角数据，推动驾驶监控系统的研究。此外，数据集还衍生出dBehaviourMD子集，用于深度学习训练，以实现实时、稳健的司机行为识别。

The DMD Dataset is a large-scale multimodal driving monitoring dataset created by the Vicome Technology Foundation, focusing on attention and alertness analysis. It contains 41 hours of RGB, depth and infrared videos, covering the driving behaviors of 37 drivers across various scenarios such as distraction, gaze allocation, fatigue and other related situations. The dataset is designed to address the core challenges during the transition of autonomous driving from SAE Level 2 to Level 3, and advance the research of driving monitoring systems through rich scene features and multi-view data. Moreover, the dataset also has a derivative subset named dBehaviourMD, which is utilized for deep learning training to achieve real-time and robust driver behavior recognition.

搜集汇总

数据集介绍

构建方式

DMD数据集的构建方式主要分为视频录制、标注和数据预处理三个阶段。视频录制阶段使用了Intel Realsense D400系列深度相机，同步捕获深度信息、RGB和红外(IR)图像。录制环境包括真实汽车和驾驶模拟器，以确保数据的多样性和现实性。标注阶段根据录制类型进行，包括几何特征（如地标点和边界框）、时间特征（如事件和动作）或上下文信息。数据预处理阶段包括同步不同相机的视频流、调整帧率、压缩视频文件等，以确保数据的质量和易用性。

特点

DMD数据集的特点主要体现在以下几个方面：首先，它是一个大规模多模态视频数据集，包含来自三个相机视角的RGB、深度和红外图像，以及丰富的场景特征，如不同光照条件、多样化的主体特征、自遮挡等。其次，数据集涵盖了广泛的驾驶场景，包括分心、疲劳、打盹、手轮交互和上下文数据等。此外，数据集还包含详细的标注信息，包括93个类别的几何和时间特征，以及丰富的上下文信息。

使用方法

DMD数据集的使用方法主要包括以下几个方面：首先，它可以用于训练和评估深度学习模型，以估计驾驶员在多种驾驶场景下的警觉性和注意力水平。其次，数据集可以用于开发驾驶员监控系统(DMS)，以监测驾驶员的行为和状态，提高道路安全。此外，数据集还可以用于研究驾驶员的行为和注意力状态，为自动驾驶技术的发展提供支持。

背景与挑战

背景概述

随着自动驾驶技术的发展，驾驶员监控系统（DMS）在提高道路安全性和驾驶舒适度方面发挥着越来越重要的作用。为了实现这一目标，DMS 需要准确地监测驾驶员的注意力水平和警觉状态。然而，目前缺乏足够大且全面的数据集来训练和评估深度学习（DL）模型，从而限制了 DMS 的发展。为了解决这一问题，DMD 数据集应运而生。DMD 数据集由 Vicomtech Foundation、Intel Labs Europe 和 Universidad Polit ́ecnica de Madrid 等机构于 2020 年创建，旨在为 DMS 研究提供丰富的场景特征，包括不同的光照条件、多样化的驾驶员特征、自我遮挡以及 3 个视角的 3 个通道（RGB/Depth/IR）视频。该数据集包含 37 名驾驶员在 41 小时内进行的真实和模拟驾驶场景，包括分心、视线分配、困倦、手轮交互和上下文数据。DMD 数据集的创建填补了 DMS 领域数据集的空白，为相关研究提供了宝贵的资源，并对自动驾驶技术的发展产生了积极的影响。

当前挑战

尽管 DMD 数据集在 DMS 领域取得了重要突破，但仍然面临着一些挑战。首先，DMS 所解决的领域问题，即准确监测驾驶员的注意力水平和警觉状态，仍然是一个复杂且具有挑战性的任务。由于驾驶员行为的多样性和动态性，以及驾驶环境的复杂性，DMS 需要具备高度鲁棒性和实时性才能在实际应用中发挥作用。其次，在构建 DMD 数据集的过程中，研究人员也遇到了一些挑战。例如，如何确保数据集的多样性和全面性，以及如何进行高效的数据标注和预处理。此外，如何设计高效且实时的 DMS 算法，并在有限的计算资源下运行，也是 DMD 数据集面临的重要挑战。为了解决这些挑战，研究人员需要不断探索新的技术方法，并开发更先进的 DMS 系统来满足实际应用的需求。

常用场景

经典使用场景

DMD数据集是一个大规模的多模态驾驶员监控数据集，旨在推动驾驶员监控系统的研发。该数据集包含了真实和模拟的驾驶场景，包括分心、注视分配、瞌睡、手轮交互和上下文数据，共37名驾驶员的41小时RGB、深度和红外视频。DMD数据集的经典使用场景包括训练和评估深度学习模型，以估计驾驶员在多种驾驶场景下的警觉性和注意力水平。此外，DMD数据集还衍生出了dBehaviourMD子集，包含13种分心活动，可用于深度学习的训练过程。

衍生相关工作

DMD数据集的引入推动了相关研究的发展，例如基于深度学习的驾驶员行为识别系统的研究。该系统利用DMD数据集进行训练和验证，并实现了实时、鲁棒和可靠的驾驶员行为检测。此外，DMD数据集还为自动驾驶汽车的开发提供了数据支持，以提升驾驶员监控系统的性能和可靠性。

数据集最近研究

最新研究方向

在自动驾驶汽车从SAE Level-2向SAE Level-3过渡的关键时期，驾驶员监控系统（DMS）的研发显得尤为重要。DMD数据集的推出，为这一领域的研究提供了有力支持。该数据集涵盖了真实和模拟的驾驶场景，包括分心、注视分配、嗜睡、手轮交互和上下文数据，并通过3个摄像头捕捉了37名驾驶员的面部、身体和手部动作。与现有数据集相比，DMD更加全面、多样和多功能。该数据集的推出，有望推动DMS在自动驾驶领域的进一步发展，并提升道路安全。

相关研究论文

• DMD: A Large-Scale Multi-Modal Driver Monitoring Dataset for Attention and Alertness Analysis

  维科姆科技基金会 · 2020年