Driver Monitoring Dataset (DMD)

DMD是最大的视觉数据集，用于真实驾驶行为，包含来自同步多摄像头（身体、面部、手部）和多流（RGB、深度、IR）的录像，记录在两种场景（真实车辆、驾驶模拟器）中。不同的注释标签与分心、疲劳和视线-头部姿势相关，可用于训练驾驶员监控系统的深度学习模型。

DMD is the largest visual dataset for real driving behavior, encompassing recordings from synchronized multi-camera systems (body, face, hands) and multi-stream (RGB, depth, IR) sources, captured in two scenarios (real vehicles, driving simulators). Various annotation labels related to distraction, fatigue, and gaze-head pose are available, which can be utilized to train deep learning models for driver monitoring systems.

原始信息汇总

Driver Monitoring Dataset (DMD) 概述

数据集描述

• 名称: Driver Monitoring Dataset (DMD)
• 特点: 最大的视觉数据集，用于真实驾驶行为研究，包含同步的多摄像头（身体、面部、手部）和多流（RGB、深度、红外）记录，涵盖两种场景（真实车辆、驾驶模拟器）。
• 应用: 用于训练深度学习模型，以开发驾驶员监控系统。

数据集内容

• 视频材料: 包括RGB、深度和红外视频。
• 标注标签: 与分心、疲劳和视线-头部姿态相关的不同标注标签。

工具与资源

• 标注工具: Temporal Annotation Tool (TaTo)
• 数据探索工具: Dataset Explorer Tool (DEx)
• 标注指南: 提供详细的标注标准，确保标注一致性。

技术细节

• 标注格式: 使用OpenLABEL语言，特别是VCD（视频内容描述）格式。

注意事项

• 更新提醒: OpenLABEL版本已更新至VCD>=5.0，需重新下载标注文件并更新工具。
• 视频格式问题: 红外视频上传时曾出现格式错误（.avi而非.mp4），现已修复。

支持与开发

• 资金支持: 由欧洲委员会Horizon 2020计划资助。
• 开发团队: 由Vicomtech团队开发。

搜集汇总

数据集介绍

构建方式

Driver Monitoring Dataset (DMD) 的构建基于多摄像头同步录制技术，涵盖了驾驶员的全身、面部和手部动作，并结合了RGB、深度和红外（IR）等多流数据。数据集在真实车辆和驾驶模拟器两种场景下进行录制，确保了数据的多样性和广泛性。通过使用Temporal Annotation Tool (TaTo) 和Dataset Explorer Tool (DEx)，研究人员能够对数据进行细致的标注和检查，确保标注的一致性和准确性。标注内容包括驾驶员的分心、疲劳以及视线和头部姿态等关键信息，这些标注数据以OpenLABEL语言格式输出，便于后续的深度学习模型训练。

特点

DMD数据集的显著特点在于其多模态数据的整合，不仅包含视觉信息，还涵盖了深度和红外数据，提供了丰富的环境感知能力。此外，数据集在真实驾驶和模拟驾驶两种场景下录制，确保了数据的广泛适用性。标注数据涵盖了驾驶员的分心、疲劳和视线等关键行为，为驾驶员监控系统的开发提供了全面的数据支持。数据集的标注工具和导出格式均遵循行业标准，确保了数据的可重复使用性和兼容性。

使用方法

使用DMD数据集时，研究人员可以通过Temporal Annotation Tool (TaTo) 对数据进行进一步的标注和检查，确保标注的准确性和一致性。数据集的标注文件以OpenLABEL格式输出，便于导入到各种深度学习框架中进行模型训练。此外，Dataset Explorer Tool (DEx) 提供了数据集的可视化工具，帮助用户快速了解数据的内容和结构。为了确保数据的最新性和正确性，用户需定期更新标注文件和工具，以适应最新的VCD版本和数据格式要求。

背景与挑战

背景概述

Driver Monitoring Dataset (DMD) 是由欧洲委员会（EC）Horizon 2020 计划资助的项目 VI-DAS（项目编号 690772）支持开发，旨在为驾驶员监控系统提供一个大规模的视觉数据集。该数据集通过同步的多摄像头（包括身体、面部和手部）和多流（RGB、深度、红外）记录了两种场景（真实车辆和驾驶模拟器）中的驾驶行为。DMD 数据集的核心研究问题围绕驾驶员的分心、疲劳和视线-头部姿态的标注，旨在为深度学习模型提供训练数据，以提升驾驶员监控系统的性能。该数据集由 Vicomtech 开发，主要研究人员包括 Paola Cañas 和 Juan Diego Ortega，其贡献对自动驾驶和驾驶员行为分析领域具有重要影响。

当前挑战

DMD 数据集在构建过程中面临多项挑战。首先，多摄像头和多流数据的同步处理要求高精度的技术支持，以确保数据的一致性和可用性。其次，标注过程中需要定义明确的标注标准，以确保不同标注者之间的输出一致性，特别是在分心、疲劳和视线-头部姿态等复杂行为上。此外，数据集的更新和维护也面临技术挑战，如 OpenLABEL 和 VCD 格式的版本更新，以及视频格式的转换问题。这些挑战不仅影响了数据集的构建效率，也对后续的模型训练和应用提出了更高的技术要求。

常用场景

经典使用场景

Driver Monitoring Dataset (DMD) 作为当前最大的真实驾驶行为视觉数据集，其经典应用场景主要集中在驾驶员监控系统的深度学习模型训练上。通过同步的多摄像头（包括身体、面部、手部）和多流数据（RGB、深度、红外），该数据集能够为驾驶员的分心、疲劳以及视线和头部姿态的监测提供丰富的标注信息。这些数据和标注为开发高效的驾驶员监控算法提供了坚实的基础，尤其是在自动驾驶和高级驾驶辅助系统（ADAS）领域。

衍生相关工作

基于 DMD 数据集，许多研究者开展了相关的经典工作，尤其是在驾驶员行为分析和监控系统的算法优化方面。例如，有研究利用该数据集训练深度学习模型，实现了对驾驶员分心和疲劳状态的高精度检测。此外，DMD 还激发了多模态数据融合技术的研究，通过结合RGB、深度和红外数据，提升了驾驶员行为识别的鲁棒性和准确性。这些工作不仅推动了驾驶员监控技术的发展，也为其他多模态数据集的研究提供了参考。

数据集最近研究

最新研究方向

在自动驾驶与智能交通领域，Driver Monitoring Dataset (DMD) 因其丰富的多模态数据和精细的标注，成为研究驾驶员行为监测的前沿工具。该数据集通过同步的多摄像头（身体、面部、手部）和多流数据（RGB、深度、红外），提供了真实驾驶和驾驶模拟器场景下的多样化数据，特别适用于深度学习模型在驾驶员分心、疲劳及视线与头部姿态监测方面的训练。当前研究主要集中在利用DMD数据集优化驾驶员监测系统的准确性和实时性，探索多模态数据融合技术以提升模型的鲁棒性，并结合新兴的AI算法如Transformer架构，进一步提高对复杂驾驶行为的识别能力。此外，DMD的开放性和标准化标注格式（如OpenLABEL和VCD）为跨领域研究提供了便利，推动了驾驶员行为分析与自动驾驶技术的深度融合。