Fatigue-Face-Dataset

该数据集通过记录参与者在完成心理疲劳诱导任务前后的面部视频创建。参与者为39名中国志愿者（33名女性，6名男性），平均年龄约23岁。使用40分钟的修改版SART任务诱导心理疲劳。标签方法采用瑞典职业疲劳量表-25（SOFI-C）作为主要工具，并结合卡罗林斯卡嗜睡量表（KSS）设定疲劳等级分界点。数据集包含三个疲劳等级：清醒（SOFI-C评分<74）、中度疲劳（74-139）和严重疲劳（≥140）。数据将78个视频转换为静态帧，并按参与者划分训练集（31人，7918张图像）和验证集（8人，2286张图像），确保模型不会记忆特定人脸。

This dataset is constructed from facial videos recorded from participants before and after they completed a mental fatigue induction task. A total of 39 Chinese volunteers (33 females and 6 males) participated, with an average age of approximately 23 years. Mental fatigue was induced using a 40-minute modified version of the SART task. The labeling approach adopted the Swedish Occupational Fatigue Inventory-25 (SOFI-C) as the primary tool, combined with the Karolinska Sleepiness Scale (KSS) to establish the cutoff values for fatigue levels. The dataset contains three fatigue categories: Alert (SOFI-C score <74), Moderate Fatigue (74–139), and Severe Fatigue (≥140). All 78 videos were converted into static frames, and the dataset was split into training set (31 participants, 7918 images) and validation set (8 participants, 2286 images) based on individual participants, to prevent the model from memorizing specific human faces.

原始信息汇总

数据集概述

数据集名称

Fatigue-Face-Dataset

项目背景

该项目旨在通过计算机视觉技术进行非接触式心理疲劳评估，目标是构建一个无需主观问卷或繁琐物理传感器的工具，仅依赖计算机视觉识别心理疲劳。

数据集构建

• 参与者：39名志愿者（33名女性，6名男性），平均年龄约23岁。
• 疲劳诱导方法：使用40分钟的计算机任务（改进版SART），该任务需要持续专注，已知会导致心理疲劳。
• 标注方法：
  • 主要工具：瑞典职业疲劳量表-25（SOFI-C）。
  • 辅助工具：卡罗林斯卡嗜睡量表（KSS），用于设定疲劳级别的清晰分界点。
  • 疲劳级别划分：
    • 清醒：SOFI-C分数 < 74
    • 中度疲劳：SOFI-C分数 74 至 139
    • 重度疲劳：SOFI-C分数 ≥ 140
• 数据结构：将78段视频转换为静态帧。为确保模型不记忆人脸，数据划分确保同一参与者的图像仅出现在训练集或测试集中。
  • 训练集：7,918张图像，来自31名参与者。
  • 验证集：2,286张图像，来自其余8名参与者。

数据下载

• 图像数据：https://drive.google.com/drive/folders/1rqwfbrj8Nvu76CV0XmQ6mrHOp6x2gLja?usp=sharing
• 原始标注：https://drive.google.com/drive/folders/1PZ-UIrUja2R1Ei6dK14Xc8lkOEj8jyTo?usp=share_link
• 原始视频：https://drive.google.com/drive/folders/1RU2QeS1u-Ntll0SLTLb5yj92IE54eVok?usp=share_link

模型方法

1. YOLOv5模型：基于图像的深度学习模型，通过单张图片（视频帧）检测疲劳。
2. 随机森林（PERCLOS + 眨眼频率）：基于视频的机器学习模型，使用已知眼动指标（眨眼频率和PERCLOS）。
3. 随机森林（多指标）：基于视频的实验性模型，添加额外行为特征（平均眨眼持续时间、最大闭合持续时间、眨眼频率变异性）。

模型结果

数据集存在类别不平衡问题（清醒样本远多于重度疲劳样本），影响模型性能。

YOLOv5模型

• 整体准确率：46.70%
• 各类别性能：
  • 清醒：精度0.42，召回率1.0，AP@0.5为0.611
  • 中度疲劳：精度0.957，召回率0.18，AP@0.5为0.681
  • 重度疲劳：精度0.0134，召回率0.00649，AP@0.5为0.11

随机森林（PERCLOS + 眨眼频率）模型

• 整体准确率：46.15%
• 各类别性能：
  • 清醒：精度0.62，召回率0.62，F1分数0.62
  • 中度疲劳：精度0.33，召回率0.25，F1分数0.29
  • 重度疲劳：精度0.00，召回率0.00，F1分数0.00

随机森林（多指标）模型

• 整体准确率：38.46%
• 各类别性能：
  • 清醒：精度0.50，召回率0.62，F1分数0.56
  • 中度疲劳：精度0.00，召回率0.00，F1分数0.00
  • 重度疲劳：精度0.00，召回率0.00，F1分数0.00

致谢

该工作为“厚粲杯”全国大学生心理与认知智能评估挑战赛提交项目。感谢活动组织者和所有参与研究的学生。

搜集汇总

数据集介绍

构建方式

在心理疲劳评估领域，Fatigue-Face-Dataset的构建采用了严谨的实验设计。研究团队招募了39名平均年龄23岁的志愿者，通过40分钟持续注意力任务诱发心理疲劳状态。数据标注基于瑞典职业疲劳量表与卡罗林斯卡嗜睡量表相结合的双重标准，将疲劳程度划分为清醒、中度疲劳与重度疲劳三个等级。原始视频数据被转换为静态图像帧，并采用按参与者划分的训练验证集策略，确保模型泛化能力。

特点

该数据集的核心特征在于其多模态评估框架与人群特异性。作为面向中国人群的首个心理疲劳视觉数据集，它突破了传统二分类局限，实现了三级疲劳程度的精细划分。数据集包含7918张训练图像和2286张验证图像，所有数据均通过标准化心理学工具进行标注。特别值得注意的是数据集存在的类别不均衡现象，重度疲劳样本仅占6.7%，这种真实世界的分布特性为模型鲁棒性研究提供了重要场景。

使用方法

数据集支持三种典型应用范式：基于YOLOv5的端到端图像分类方法可直接处理静态帧数据；结合PERCLOS和眨眼频率的传统机器学习方案适用于视频序列分析；多指标随机森林模型则拓展了行为特征维度。使用者可通过Google Drive获取图像、原始标签和视频文件，训练时需特别注意采用分层抽样或过采样技术应对数据不均衡问题。验证阶段应当严格遵循按参与者划分的交叉验证原则，以确保评估结果的可靠性。

背景与挑战

背景概述

心理疲劳评估作为人机交互与健康监测领域的重要课题，长期依赖于主观问卷或侵入式生理传感器，存在应用场景受限与数据可靠性不足的瓶颈。Fatigue-Face-Dataset由“厚粲杯”全国大学生心理与认知智能评估挑战赛团队于近年构建，旨在通过非接触式计算机视觉技术破解这一难题。该数据集以39名中国青年志愿者为样本，采用经心理学验证的瑞典职业疲劳量表和卡罗林斯卡嗜睡量表，将疲劳程度细分为清醒、中度疲劳与重度疲劳三级，填补了亚洲人群心理疲劳视觉数据集的空白，为驾驶安全、教育效率等场景的客观疲劳监测提供了关键数据支撑。

当前挑战

该数据集致力于解决基于视觉的心理疲劳分级问题，其核心挑战在于疲劳状态的细粒度划分与跨个体泛化能力。构建过程中，研究者面临多重困难：首先，通过持续注意力任务诱导可控且伦理合规的心理疲劳存在操作复杂度；其次，数据集存在严重的类别不平衡问题，重度疲劳样本仅占6.7%，导致模型对少数类别的识别性能显著下降。此外，从视频帧中提取具有判别力的行为特征（如眼动模式、微表情）需克服光照变化、头部姿态干扰等噪声，而基于单帧图像的静态分析难以捕捉疲劳的动态演进规律。

常用场景

经典使用场景

在心理疲劳评估领域，Fatigue-Face-Dataset为基于计算机视觉的非接触式疲劳检测提供了关键数据支持。该数据集通过视频帧序列捕捉被试者在心理任务前后的面部动态，尤其聚焦于眼睑闭合程度、眨眼频率等微表情变化。其经典应用场景在于训练深度学习模型对疲劳状态进行三级分类——清醒、中度疲劳与重度疲劳，为驾驶安全、教育监测等场景提供客观评估依据。数据集采用受试者独立的划分方式，有效避免了模型过拟合，提升了跨个体的泛化能力。

实际应用

在实际应用层面，该数据集支撑的疲劳监测技术已渗透至多个高风险行业。在交通运输领域，通过实时分析驾驶员的面部视频流，可及时预警疲劳驾驶状态，降低事故发生率；在工业安全生产中，用于监控高危岗位操作人员的注意力水平；此外还可整合在线教育平台，通过摄像头监测学生的学习专注度。这种非接触式方案克服了传统传感器需贴身佩戴的弊端，为大规模常态化疲劳监测提供了技术可行性。

衍生相关工作

基于该数据集衍生的经典研究主要集中在多模态疲劳检测算法的优化。例如结合YOLOv5的实时帧级分类框架，探索了单帧图像与时序特征的融合策略；随机森林模型则通过PERCLOS与多维度眨眼指标的比较，验证了传统生理指标在轻量级模型中的有效性。后续研究进一步引入了注意力机制与长短期记忆网络，以提升对微表情时序动态的捕捉能力，相关成果为车载智能座舱、远程办公监测等应用提供了算法基础。