DriveGaze|驾驶员状态识别数据集|动态视觉传感器数据集

arXiv2024-12-16 更新2024-12-25 收录

驾驶员状态识别

动态视觉传感器

下载链接：

https://github.com/TooyoungALEX/AAAI25-DriveGazen

下载链接

链接失效反馈

资源简介：

DriveGaze数据集是由大连理工大学创建的，旨在用于驾驶员状态识别研究。该数据集包含从传统摄像头生成的强度帧和相应的合成动态视觉传感器（DVS）事件，涵盖了不同年龄、种族和性别的数据。数据集的创建过程包括从视频帧生成合成DVS事件，并使用注意力驱动状态网络（ADSN）进行处理。DriveGaze数据集主要应用于驾驶员状态识别领域，旨在通过低成本的传统摄像头捕捉的眼睛特征来识别驾驶员的状态，解决传统摄像头在有限光照条件下无法有效解析时间信息的问题。

提供机构：

大连理工大学

创建时间：

2024-12-16

AI搜集汇总

数据集介绍

构建方式

DriveGaze数据集的构建基于传统摄像头捕捉的驾驶员眼部数据，通过DG3眼动仪记录驾驶状态下的眼部动态。该设备以384*288的分辨率和60FPS的帧率采集数据，避免了屏幕遮挡问题，确保了特征的清晰性。数据集包含47名不同年龄、性别和种族的志愿者的驾驶状态数据，涵盖了7种驾驶状态，平均视频长度为149.2帧，总时长为68.1分钟。数据被划分为1316个训练序列和329个测试序列，确保了数据的多样性和广泛性。

使用方法

DriveGaze数据集的使用方法主要包括训练和测试驾驶状态识别模型。首先，数据集被划分为训练集和测试集，分别用于模型的训练和评估。在训练过程中，模型利用视频帧生成的事件帧和对应的强度帧，结合注意力驱动状态网络（ADSN）进行特征提取和状态识别。测试时，模型通过随机选择起始点和测试时间长度，评估其在任意驾驶状态阶段的识别能力。通过加权平均召回率（WAR）和未加权平均召回率（UAR）等指标，评估模型的性能。

背景与挑战

背景概述

DriveGaze数据集由大连理工大学的Xiaoyin Yang等人于2024年提出，旨在通过传统摄像头捕捉的驾驶员眼部数据，识别驾驶状态。该数据集的核心研究问题是如何在复杂光照条件下，利用传统摄像头捕捉的帧生成动态视觉传感器（DVS）事件，并结合注意力驱动状态网络（ADSN）提取时空特征，从而实现高效的驾驶状态识别。DriveGaze数据集的推出填补了基于传统摄像头生成事件数据的空白，为驾驶状态识别领域提供了新的研究工具和基准。该数据集包含47名志愿者的驾驶状态数据，涵盖了不同年龄、性别和种族的多样性，具有广泛的应用前景。

当前挑战

DriveGaze数据集在解决驾驶状态识别问题时面临多重挑战。首先，传统摄像头虽然能够捕捉丰富的空间信息，但在时间维度上的信息提取较为困难，尤其是在光照条件变化或驾驶员头部快速移动的情况下，时间信息的缺失会显著影响识别精度。其次，数据集的构建过程中，如何从传统摄像头的视频帧中生成逼真的DVS事件是一个技术难点，这需要精确的算法模拟动态视觉传感器的特性。此外，尽管ADSN网络在时空特征提取上表现出色，但其对事件帧的依赖可能导致在变化较小的场景中性能下降，进一步优化模型的鲁棒性是未来研究的重要方向。

常用场景

经典使用场景

DriveGaze数据集在驾驶状态识别领域具有广泛的应用，尤其是在基于眼睛行为的驾驶状态监测中。该数据集通过捕捉驾驶员的眼睛行为，结合传统的摄像头技术，生成动态视觉传感器（DVS）事件帧，从而实现对驾驶员状态的实时识别。其经典使用场景包括驾驶疲劳检测、注意力分散识别以及情绪状态分析，这些场景对于提升交通安全具有重要意义。

解决学术问题

DriveGaze数据集解决了传统RGB图像在驾驶状态识别中的两大难题：一是光照变化对识别精度的影响，二是缺乏有效的时间信息。通过生成合成DVS事件帧，并结合注意力驱动状态网络（ADSN），该数据集能够有效提取时空特征，显著提升了驾驶状态识别的准确性和鲁棒性。这一创新为基于眼睛行为的驾驶状态识别提供了新的研究思路和技术手段。

实际应用

在实际应用中，DriveGaze数据集被广泛用于智能驾驶辅助系统和车载监控设备中。通过实时监测驾驶员的眼睛行为，系统可以及时预警疲劳驾驶、注意力分散等危险状态，从而降低交通事故的发生率。此外，该数据集还可用于驾驶员培训，帮助驾驶员改善驾驶习惯，提升驾驶安全性。

数据集最近研究