3 Perspective Driver Dataset (3PDD)

3PDD数据集是一个精心策划和平衡的多视角数据集，专为现实世界中的驾驶员分心检测场景设计。它通过三个不同的摄像头视角（身体、面部和手部）捕捉驾驶员行为，提供了10种不同的驾驶员分心行为，每种行为在所有三个视角中都有相同数量的图像，确保了类别的平衡分布。此外，数据集通过基于驾驶员的分割策略防止数据泄漏，确保模型能够泛化到未见过的个体，这对于实际部署至关重要。

The 3PDD dataset is a carefully curated and balanced multi-view dataset specifically designed for real-world driver distraction detection scenarios. It captures driver behaviors via three distinct camera perspectives: body, face, and hand, and encompasses 10 different types of driver distraction behaviors, with an equal number of images for each behavior across all three perspectives to ensure a balanced class distribution. Furthermore, the dataset adopts a driver-based segmentation strategy to prevent data leakage, enabling the model to generalize to unseen individuals, which is critical for real-world deployment.

原始信息汇总

3PDD 数据集概述

数据集简介

3PDD（3 Perspective Driver Dataset）是一个用于驾驶员分心检测的平衡多视角数据集。它基于文献中最全面的数据集之一——驾驶员监控数据集（DMD）构建而成。

数据来源

• 源数据集：驾驶员监控数据集（DMD）。
• 致谢：感谢 Vicomtech 对驾驶员监控研究社区的贡献。
• DMD 官方资源：
  • GitHub 仓库：https://github.com/Vicomtech/DMD-Driver-Monitoring-Dataset
  • 官方网站：https://dmd.vicomtech.org/

核心特征

多视角架构

数据集从三个独立的摄像头视角捕捉驾驶员行为：

• 身体摄像头：驾驶员的完整上半身视图。
• 面部摄像头：聚焦面部的视图，用于详细的面部表情分析。
• 手部摄像头：手部和方向盘的视图，用于手势识别。

平衡的分心行为分布

数据集包含10种不同的驾驶员分心行为，各类别图像数量严格平衡，在所有三个视角中均具有相同数量的图像。

驾驶员分心行为	身体视角	面部视角	手部视角	图像总数
喝水	3825	3825	3825	11475
整理头发和化妆	3825	3825	3825	11475
左手打电话	3825	3825	3825	11475
右手打电话	3825	3825	3825	11475
操作收音机	3825	3825	3825	11475
伸手到后方/侧方	3825	3825	3825	11475
安全驾驶	3825	3825	3825	11475
与乘客交谈	3825	3825	3825	11475
左手发短信	3825	3825	3825	11475
右手发短信	3825	3825	3825	11475
总计	38250	38250	38250	114750

基于驾驶员划分的数据泄漏预防

采用严格的基于驾驶员的划分策略来防止数据泄漏，确保每个驾驶员仅出现在训练集、验证集或测试集中的一个集合里。

• 训练集：17 名驾驶员 × 每名驾驶员 135 张图像 = 每类 2,295 张图像。
• 验证集：5 名驾驶员 × 每名驾驶员 153 张图像 = 每类 765 张图像。
• 测试集：5 名驾驶员 × 每名驾驶员 153 张图像 = 每类 765 张图像。

现实世界适用性

1. 高质量分辨率：所有视角的图像质量一致。
2. 平衡的类别分布：所有10种分心行为均等表示，防止模型偏差。
3. 基于驾驶员的划分：消除数据泄漏，确保真正的泛化能力。
4. 多模态组织：每个场景的三个同步视角支持多视图学习方法。
5. 全面覆盖：总计 114,750 张图像为深度学习模型提供充足数据。

数据集构建工具

前提条件

使用此工具前，需要先从 DMD 视频中提取帧。

1. 使用官方的 DMD 数据集探索工具（DEx） 提取帧：https://github.com/Vicomtech/DMD-Driver-Monitoring-Dataset/tree/master/exploreMaterial-tool
2. 将提取的帧组织在一个源目录中。

工具功能

• 高性能：利用多核 CPU 进行并行处理，可高效处理数千万文件。
• 灵活匹配：支持精确文件名匹配和规范化匹配（处理特殊字符、分隔符等变体）。
• 进度跟踪：处理过程中提供实时更新。
• 交互式选项：
  • 视角选择：可选择包含 body、face、hands 中的一个、多个或全部视角。
  • 结构类型：可选择输出数据集的目录结构：
    • split：按 视角/划分（train/val/test）/类别 组织。
    • flat：按 视角/类别 组织（所有划分合并）。

相关出版物

1. MELD3: Integrating Multi-Task Ensemble Learning for Driver Distraction Detection
   • 期刊：IEEE Access, 2024
   • DOI：https://doi.org/10.1109/ACCESS.2024.3509033
2. DMD: A Large-Scale Multi-modal Driver Monitoring Dataset for Attention and Alertness Analysis
   • 会议：ECCV 2020 Workshops
   • DOI：https://doi.org/10.1007/978-3-030-66823-5_23

许可

该工具仅供研究使用。数据集使用条款请参考 DMD 许可协议。

致谢

特别感谢：

• Vicomtech 创建并维护 DMD 数据集。
• DMD 项目的所有贡献者。

支持

• 此工具相关问题：请在本代码仓库提交 Issue。
• DMD 数据集相关问题：请访问 DMD GitHub。
• 帧提取相关问题：请查看 exploreMaterial-tool 文档。

搜集汇总

数据集介绍

构建方式

在驾驶监控研究领域，构建高质量的数据集对于开发可靠的驾驶员分心检测系统至关重要。3PDD数据集基于文献中最为全面的多模态驾驶员监控数据集（DMD）构建而成，通过专门的工具从DMD视频序列中提取帧图像，并依据预设的图像列表文件进行系统化组织。该构建过程首先利用DMD官方提供的探索工具提取视频帧，随后通过交互式脚本根据用户选择的视角（身体、面部、手部）和结构类型（按分割组织或扁平化组织），将源图像文件复制到目标目录，形成规范化的数据集结构，确保了数据的一致性与可复用性。

特点

3PDD数据集在驾驶员行为分析领域展现出独特的价值，其核心特点在于多视角架构与均衡的类别分布。数据集从身体、面部和手部三个同步的摄像头视角捕捉驾驶员行为，为分心检测提供了互补的视觉信息。涵盖十种分心行为类别，每类在三个视角上均包含相同数量的图像，总计114,750张，有效避免了类别不平衡问题。此外，数据集采用基于驾驶员的分割策略，确保训练、验证和测试集中的驾驶员身份互不重叠，从而防止数据泄漏，提升了模型在未见个体上的泛化能力，增强了其在真实驾驶场景中的适用性。

使用方法

为促进驾驶员分心检测算法的研究与开发，3PDD数据集提供了清晰的使用路径。研究人员首先需从DMD数据集中提取视频帧作为源材料，随后运行数据集构建工具，通过交互式命令行选择需要包含的摄像头视角和期望的输出目录结构。工具支持并行处理，能够高效处理大规模图像文件，并生成按视角和类别组织的标准化目录。生成的数据集可直接用于训练多视角深度学习模型，其提供的类别映射文件和分割信息便于进行模型训练、验证与测试，为构建鲁棒的驾驶监控系统奠定了坚实的数据基础。

背景与挑战

背景概述

在智能交通与驾驶安全研究领域，驾驶员状态监测是保障行车安全的核心课题。3 Perspective Driver Dataset (3PDD) 是基于Vicomtech机构于2020年发布的Driver Monitoring Dataset (DMD)构建而成，旨在为驾驶员分心行为检测提供一套精心平衡的多视角数据集。该数据集由研究团队精心策划，通过整合身体、面部和手部三个同步摄像头视角，系统性地捕捉了十类分心驾驶行为，每类行为均包含等量的图像样本，有效避免了类别不平衡问题。其采用基于驾驶员的严格数据划分策略，确保了模型在未见个体上的泛化能力，为开发鲁棒性强的实时驾驶员监控系统奠定了坚实的数据基础。

当前挑战

在驾驶员分心检测领域，模型需从复杂多变的驾驶场景中准确识别细微的行为模式，并克服光照变化、姿势遮挡及个体差异等干扰因素。3PDD数据集在构建过程中面临多重挑战：首先，从原始DMD视频流中提取并同步多视角图像帧，需确保时间对齐与空间一致性；其次，为达成严格的类别平衡与驾驶员划分，需设计精密的采样与验证流程，以杜绝数据泄漏；此外，处理海量图像数据时，需优化存储与索引效率，以支持大规模深度学习模型的训练与评估。

常用场景

经典使用场景

在智能驾驶安全研究领域，3PDD数据集以其多视角架构成为驾驶员分心检测任务的经典基准。该数据集通过同步采集驾驶员身体、面部和手部三个视角的图像，为模型提供了全面的行为表征。研究者通常利用其平衡的类别分布和严格的驾驶员划分策略，训练深度学习模型以识别如使用手机、操作收音机等十种分心行为，从而评估模型在真实驾驶场景下的泛化能力。

实际应用

该数据集直接服务于高级驾驶辅助系统与自动驾驶安全模块的开发。汽车制造商与科技公司可依据3PDD训练出的模型，集成于车载监控系统，实时监测驾驶员状态，在发生分心行为时及时发出警报。其多视角数据还能支持更精细的人机交互分析，例如通过手部动作识别意图，或通过面部表情判断疲劳程度，从而全面提升行车安全性与乘坐体验。

衍生相关工作

以3PDD为基础，学术界涌现出一系列创新研究。例如，MELD3框架通过集成多任务学习，同时利用三个视角的信息提升检测精度。此外，许多工作探索了多模态融合、注意力机制以及跨视角表征学习在该数据集上的应用，验证了其对于推动多视图学习、长尾分布问题解决以及模型可解释性研究的重要价值。