多模态驾驶员监控数据库(MDM)

多模态驾驶员监控数据库(MDM)是由德州大学达拉斯分校电气与计算机工程系创建的一个自然语言语料库，旨在研究驾驶员的注意力。该数据集包含59名受试者在执行各种任务时的记录，使用多种传感器收集高质量的RGB视频、点云数据、CAN-Bus信息和音频记录，以训练各种高效的驾驶员监控算法，进一步推动车内安全系统领域的发展。数据集创建过程中，采用了多种设备和传感器来设置基线和记录数据，并通过详细的协议来获取标记数据，以研究驾驶员的视觉注意力。该数据集的应用领域主要集中在驾驶员行为建模和车内安全系统的开发，旨在解决驾驶员分心和人为错误导致的事故问题。Multimodal Driver Monitoring Database (MDM) is a natural language corpus developed by the Department of Electrical and Computer Engineering, The University of Texas at Dallas, for the purpose of studying driver attention. This dataset includes recordings from 59 subjects while they performed various tasks, with high-quality RGB videos, point cloud data, CAN-Bus information and audio recordings collected via multiple sensors, to train a variety of efficient driver monitoring algorithms and further promote the development of in-vehicle safety systems. During the dataset creation process, multiple devices and sensors were employed to establish baselines and record data, and detailed protocols were utilized to acquire labeled data for research on driver visual attention. The application scenarios of this dataset mainly concentrate on driver behavior modeling and the development of in-vehicle safety systems, with the goal of addressing traffic accidents caused by driver distraction and human error.

搜集汇总

数据集介绍

构建方式

在车载安全研究领域，构建能够反映真实驾驶环境的数据集至关重要。多模态驾驶员监控数据库（MDM）通过精心设计的采集协议，在自然驾驶条件下收集了59名性别平衡、种族多样的受试者数据。数据采集采用配备Fi-Cap头盔的系统，该头盔通过背部的多个基准标记连续追踪驾驶员头部运动，提供逐帧头部姿态标注。同时，使用高分辨率RGB摄像头、飞行时间深度相机、麦克风阵列及CAN-Bus记录驾驶员的多种活动，包括注视预定义目标、执行导航及操作车载娱乐系统等任务，并通过ELAN工具进行精细的事件标注，确保了数据的高质量和多模态同步。

特点

该数据集的核心特点在于其多模态与自然驾驶环境的深度融合。它不仅提供了连续且可靠的头部姿态地面真值，还涵盖了驾驶员在停车与行驶状态下的离散与连续注视信息。数据集包含21个车内注视目标及车外连续注视标注，结合了高清晰度RGB视频、点云数据、红外图像及车辆CAN-Bus信息，形成了丰富的多传感器数据流。此外，数据采集覆盖了广泛的头部旋转角度与注视分布，充分体现了真实驾驶中光照变化、遮挡及极端头部姿态等挑战，为模型训练提供了高度多样化的样本。

使用方法

该数据集适用于开发与评估驾驶员视觉注意力监控算法。研究者可利用其逐帧头部姿态标注训练头部姿态估计算法，尤其在自然驾驶条件下验证模型的鲁棒性。注视标注信息可用于训练或测试注视区域分类及连续注视估计模型，结合多模态数据（如深度点云与红外图像）探索跨模态学习方法。此外，CAN-Bus数据与活动标注支持驾驶行为分析与分心检测研究。数据集的同步多传感器设置也为融合视觉、听觉与车辆动态信息的综合模型提供了理想实验平台。

背景与挑战

背景概述

多模态驾驶员监控数据库（MDM）由德克萨斯大学达拉斯分校的研究团队于2020年创建，旨在解决自然驾驶环境中驾驶员视觉注意力建模的核心问题。该数据库通过整合高分辨率RGB摄像头、深度传感器、红外成像及车辆CAN-Bus数据，构建了一个包含59名受试者的多模态数据集，重点标注了头部姿态与视线方向的关联信息。其创新性在于采用Fi-Cap头盔系统提供帧级头部姿态真值，并通过预设视线目标标记实现精准的注意力标注，为车载安全系统与自动驾驶技术提供了关键的数据支撑，显著推动了驾驶员行为分析与视觉感知领域的研究进展。

当前挑战

该数据集致力于解决自然驾驶条件下驾驶员视觉注意力估计的挑战，包括光照突变、面部遮挡及极端头部姿态导致的模型性能下降问题。在构建过程中，研究团队面临多传感器同步校准、真实驾驶场景中视线标注获取困难，以及Fi-Cap头盔在动态环境中保持姿态估计稳定性的技术难题。此外，数据采集需平衡驾驶任务的自然性与标注精度，同时处理多模态数据融合中的时空对齐问题，这些挑战共同凸显了在复杂驾驶环境中构建高可靠性监控系统的复杂性。

常用场景

经典使用场景

在智能交通与车载安全领域，多模态驾驶员监控数据库（MDM）为研究驾驶员视觉注意力提供了关键数据支撑。该数据集通过融合高分辨率RGB摄像头、深度传感器、红外照明灰度相机及CAN-Bus信息，构建了自然驾驶条件下的多模态记录环境。其经典应用场景集中于驾驶员头部姿态与视线方向的联合建模，借助Fi-Cap头盔提供的帧级头部姿态真值，以及车内外部标记物的凝视标注，为开发鲁棒的驾驶员注意力估计算法奠定了数据基础。

衍生相关工作

MDM数据库的发布催生了一系列围绕驾驶员监控的经典研究工作。例如，基于其点云数据开发的头部姿态估计算法，在自然驾驶条件下实现了优于传统RGB方法的性能。同时，该数据集支持了视线区域分类模型的创新，促进了多传感器融合技术在驾驶员状态识别中的应用。相关研究进一步拓展至驾驶员行为建模、分心检测及车辆操控预测等领域，为车载安全系统的学术与工业进展提供了持续动力。

数据集最近研究

最新研究方向

在智能交通与车载安全领域，多模态驾驶员监控数据库（MDM）正成为研究驾驶员视觉注意机制的关键基础设施。该数据集通过融合高精度RGB摄像头、深度传感器、红外成像及CAN-Bus等多源信息，为自然驾驶环境下头部姿态与视线方向的协同建模提供了前所未有的数据支撑。当前前沿研究聚焦于利用点云数据与深度学习架构实现极端光照、遮挡场景下的鲁棒性头部姿态估计，同时探索时序神经网络对连续视线轨迹的预测能力。该数据集的出现，直接回应了高级别自动驾驶系统中驾驶员状态监测的迫切需求，为构建下一代主动安全系统奠定了实证基础，推动了人机共驾交互范式的革新。

相关研究论文

• The Multimodal Driver Monitoring Database: A Naturalistic Corpus to Study Driver Attention

  德州大学达拉斯分校电气与计算机工程系 · 2020年