RLDD

RLDD数据集是由德克萨斯大学阿灵顿分校的Vision-Learning-Mining实验室创建的，旨在用于早期瞌睡检测研究。该数据集包含约30小时的RGB视频，涉及60名参与者，每个参与者在警觉、低警觉和瞌睡三种状态下各有一段视频，总计180段视频。数据集通过参与者使用自己的手机或网络摄像头在室内真实环境中录制，视频帧率低于30fps，增加了检测难度。RLDD数据集特别适用于评估早期瞌睡检测方法，因为它包含了从微妙的瞌睡迹象到更明显的瞌睡状态的视频。该数据集的应用领域包括驾驶和职场环境，旨在通过早期检测瞌睡来预防事故和提高工作效率。

The RLDD dataset was developed by the Vision-Learning-Mining Lab at the University of Texas at Arlington for early drowsiness detection research. It contains approximately 30 hours of RGB videos involving 60 participants, with each participant providing one video segment in the alert, low-alert, and drowsy states respectively, totaling 180 video clips. The videos were recorded by participants using their own mobile phones or webcams in real indoor environments, with a frame rate below 30 fps, which increases the difficulty of drowsiness detection. The RLDD dataset is particularly well-suited for evaluating early drowsiness detection methods, as it includes video footage spanning from subtle drowsiness signs to more pronounced drowsy states. Its application domains cover driving and workplace scenarios, aiming to prevent accidents and improve work efficiency via early drowsiness detection.

搜集汇总

数据集介绍

构建方式

在早期疲劳检测研究领域，构建具有真实性和多样性的数据集至关重要。RLDD数据集的构建采用了基于自我报告与主观评估相结合的方法，通过60名健康参与者在自然生活环境中自主录制视频完成。每位参与者需根据卡罗林斯卡嗜睡量表（KSS）的指导，在清醒、低警觉和困倦三种状态下分别录制约十分钟的视频，使用个人手机或网络摄像头在室内环境中完成。录制过程要求保持摄像头角度与距离大致一致，确保双眼清晰可见，最终收集了总计约30小时、180段RGB视频数据，并依据参与者自我报告的主观状态进行三类标注。

使用方法

该数据集适用于基于时序行为分析的早期疲劳检测研究。典型使用流程包括：首先，从视频序列中检测并提取眨眼事件，获取眨眼持续时间、振幅、睁眼速度及频率等时序特征。接着，需对特征进行个性化归一化处理，通常利用个体清醒状态视频的前三分之一片段计算特征均值和标准差，以消除个体差异。研究者可构建时序模型（如论文中采用的层次多尺度长短期记忆网络）对这些特征序列进行建模，以捕捉疲劳状态的渐进演变。评估时，可采用滑动窗口将连续眨眼序列输入模型，并通过投票机制综合各片段的预测结果，最终判定整段视频的疲劳等级。

背景与挑战

背景概述

RLDD数据集由德克萨斯大学阿灵顿分校视觉学习挖掘实验室于2019年发布，旨在为早期疲劳检测提供大规模、公开的真实场景数据。该数据集聚焦于通过非侵入式视觉行为测量，捕捉从警觉到疲劳的细微过渡状态，以应对驾驶与工作场所安全领域的迫切需求。其核心研究问题在于如何利用低帧率手机摄像头视频，识别疲劳的早期行为征兆，而非仅检测如打哈欠等明显体征。该数据集包含60名受试者在真实室内环境中自拍的约30小时RGB视频，并按警觉、低警觉与疲劳三类进行标注，显著推动了基于视觉的疲劳检测研究从模拟数据向真实场景的演进。

当前挑战

RLDD数据集面临的挑战主要体现在两方面：其一，在领域问题层面，早期疲劳检测需区分细微的面部行为变化，如眨眼频率、幅度与速度的渐进性改变，这些特征在低帧率视频中难以清晰捕捉，且人类观察者的平均判断准确率不足60%，凸显了问题的复杂性。其二，在构建过程中，数据采集需确保疲劳状态的真实性，避免受试者表演性疲劳；同时，受试者使用不同型号手机或摄像头在多样环境中自拍，导致视频分辨率、光照与角度存在显著差异，为后续的特征提取与模型泛化带来了额外难度。

常用场景

经典使用场景

在驾驶安全与工作场所监控领域，疲劳状态检测是预防事故的关键环节。RLDD数据集以其大规模真实场景视频数据，为早期疲劳检测研究提供了重要基准。该数据集包含60名受试者在自然状态下录制的约30小时视频，标注为清醒、低警觉和疲劳三类，特别捕捉了从轻微到明显的疲劳迹象，使得研究者能够基于真实行为数据开发时序模型。其经典应用场景在于评估和优化基于眨眼特征的时序神经网络，如分层多尺度长短期记忆网络（HM-LSTM），以识别疲劳的早期微妙信号，为实时预警系统提供数据支撑。

解决学术问题

RLDD数据集解决了疲劳检测领域长期存在的若干学术挑战。首先，它弥补了公开真实数据集的空白，此前研究多依赖私有或模拟数据，难以进行公平比较与复现。其次，数据集专注于早期疲劳检测，通过捕捉细微的面部行为变化，如眨眼持续时间、振幅和频率的时序模式，推动了从极端明显迹象到早期预警的范式转变。此外，数据集的多样性和真实性——涵盖不同性别、年龄、种族及拍摄条件——增强了模型的泛化能力，为探索非侵入式、低计算成本的实时检测方法提供了可靠实验平台。

实际应用

RLDD数据集的实际应用价值主要体现在智能驾驶与工业安全领域。基于该数据集开发的检测模型可集成至车载摄像头或智能手机应用中，通过分析驾驶员的面部视频实时监测疲劳状态，并在早期发出预警，从而减少因疲劳驾驶引发的交通事故。在工作场所，类似系统可监控操作人员的警觉水平，提升安全生产效率。数据集的低帧率视频特性模拟了普通摄像头的实际条件，确保了解决方案的经济性与可部署性，为大众化疲劳预防工具的开发奠定了实践基础。

数据集最近研究

最新研究方向

在计算机视觉与行为分析领域，RLDD数据集作为首个大规模、公开且基于真实疲劳状态的数据集，为早期疲劳检测研究提供了关键基准。近年来，该数据集推动了基于时序建模的深度学习方法的创新，特别是利用眨眼特征的层次化多尺度长短期记忆网络（HM-LSTM）来捕捉疲劳的细微动态模式。研究热点聚焦于融合多模态数据（如脑电图与视频）以提升检测鲁棒性，并探索轻量化模型在嵌入式设备（如智能手机）上的实时部署，旨在应对驾驶与工作场所的安全需求。这些进展不仅提升了疲劳预警的准确性与时效性，也为非侵入式监测系统的实际应用奠定了数据与方法基础。

相关研究论文

• A Realistic Dataset and Baseline Temporal Model for Early Drowsiness Detection

  德克萨斯大学阿灵顿分校 · 2019年