Occlu-FER

Occlu-FER是一个专门为FER任务设计的遮挡导向数据集，旨在解决现有数据集中自然遮挡样本比例较低的问题。该数据集提供了在各种遮挡条件下的人脸图像，以帮助模型学习在真实世界应用中更具有鲁棒性的特征。数据集的具体大小和样本数量在论文中未提及。

Occlu-FER is an occlusion-oriented dataset specifically designed for the FER (Facial Expression Recognition) task, aiming to address the issue of low proportion of naturally occluded samples in existing datasets. This dataset provides facial images under various occlusion conditions to help models learn more robust features for real-world applications. The specific size and sample count of this dataset are not mentioned in the paper.

原始信息汇总

ORSANet 数据集概述

数据集简介

• 名称: ORSANet (Occlusion-Robust Semantic-Aware Network)
• 领域: 计算机视觉/面部表情识别(FER)
• 主要贡献:
  • 提出多模态语义引导方法处理面部遮挡问题
  • 构建首个面向遮挡的面部表情识别数据集Occlu-FER
  • 提出动态对抗排斥增强损失(DARELoss)

包含数据集

1. RAF-DB

   • 来源: http://www.whdeng.cn/RAF/model1.html#dataset

   • 文件结构:

     data/raf-db/ train/ train_00001_aligned.jpg train_00002_aligned.jpg ... valid/ test_0001_aligned.jpg test_0002_aligned.jpg ...

2. AffectNet

   • 来源: https://mohammadmahoor.com/pages/databases/affectnet/

3. Occlu-FER(专用遮挡数据集)

   • 来源: https://wenyuzhy.github.io/Occlu-FER/
   • 包含: RAF-DB_valid_occlu

预训练模型

1. 图像主干网络&关键点检测器

   • 来源: https://drive.google.com/drive/folders/1X9pE-NmyRwvBGpVzJOEvLqRPRfk_Siwq
   • 包含文件:
     • ir50.pth
     • mobilefacenet_model_best.pth.tar

2. 分割网络

   • 来源: https://github.com/Kartik-3004/SegFace (Swin_Base 224 LaPa)
   • 包含文件:
     • model_299.pt

使用方式

测试

bash python test.py --checkpoint checkpoint/best.pth -p

训练(以RAF-DB为例)

bash python train.py --gpu 0 --batch_size 20

引用格式

bibtex @misc{zhai2025rethinkingocclusionfersemanticaware, title={Rethinking Occlusion in FER: A Semantic-Aware Perspective and Go Beyond}, author={Huiyu Zhai and Xingxing Yang and Yalan Ye and Chenyang Li and Bin Fan and Changze Li}, year={2025}, eprint={2507.15401}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2507.15401}, }

搜集汇总

数据集介绍

构建方式

Occlu-FER数据集的构建基于对现实世界中面部遮挡场景的深入分析，旨在填补现有面部表情识别数据集在遮挡条件下的不足。该数据集通过收集来自公开数据集和互联网的真实面部照片，精心筛选了包含部分面部遮挡或外部面部干扰的图像。构建过程中，研究人员特别关注了八种基本情绪类别，确保数据集的多样性和代表性。训练集包含6,838张图像，验证集包含880张图像，为模型在复杂遮挡场景下的鲁棒性评估提供了充分的数据支持。

使用方法

Occlu-FER数据集的使用方法主要包括模型训练和性能评估两个主要环节。在训练阶段，研究人员可以利用该数据集对模型进行专门针对遮挡场景的优化，如通过数据增强技术进一步提高模型的鲁棒性。在评估阶段，该数据集可用于测试模型在不同类型和程度遮挡下的表现，特别是通过验证集上的性能指标来量化模型的泛化能力。此外，该数据集还可用于对比不同算法在遮挡条件下的优劣，为面部表情识别领域的研究提供重要的实验依据。

背景与挑战

背景概述

Occlu-FER数据集由电子科技大学和香港浸会大学的研究团队于2025年提出，旨在解决面部表情识别（FER）领域中存在的遮挡问题。该数据集由Huiyu Zhai、Xingxing Yang等学者共同构建，包含6838张训练图像和880张验证图像，覆盖八种基本情绪类别。Occlu-FER专注于真实场景中的部分面部遮挡和外部面部干扰，为FER模型的鲁棒性评估提供了专门基准。该数据集的创新性在于首次系统性地整合了多种现实遮挡场景，推动了FER领域从理想实验室环境向复杂现实应用的范式转变。

当前挑战

Occlu-FER数据集面临双重挑战：在领域问题层面，传统FER模型对遮挡区域的特征提取存在语义理解缺失，当面部被眼镜、手掌等物体遮挡时，模型易因关注非显著区域而导致误分类；在构建过程层面，真实场景中自然遮挡样本的稀缺性导致数据分布失衡，而人工模拟的矩形遮挡与真实语义遮挡（如口罩、手势）存在特征分布差异。此外，高质量语义分割图与面部关键点的精准标注需要跨模态协同，这对数据标注的精度与一致性提出了更高要求。

常用场景

经典使用场景

Occlu-FER数据集专为面部表情识别（FER）任务中遮挡场景的鲁棒性研究而设计，其经典使用场景包括在复杂真实环境下对部分遮挡的面部图像进行表情分类。该数据集通过模拟眼镜、手部遮挡等多种现实遮挡情况，为算法提供了丰富的训练和测试样本，使得研究者能够评估模型在遮挡条件下的表现。

解决学术问题

Occlu-FER数据集解决了面部表情识别领域中的两大核心学术问题：遮挡条件下的特征提取困难以及数据集偏差问题。通过提供多样化的真实遮挡样本，该数据集帮助研究者开发出能够有效处理遮挡的算法，如ORSANet，从而提升了模型在复杂环境下的分类准确性和鲁棒性。此外，该数据集还推动了对于多模态语义引导和动态对抗排斥损失（DARELoss）等新方法的研究。

实际应用

在实际应用中，Occlu-FER数据集被广泛用于开发智能监控、人机交互和心理研究等领域的面部表情识别系统。例如，在智能监控中，该数据集训练的模型能够准确识别戴口罩或戴眼镜人员的表情；在人机交互中，提升了虚拟助手对用户情绪的感知能力。这些应用显著提高了系统在真实场景中的实用性和可靠性。

数据集最近研究

最新研究方向

近年来，Occlu-FER数据集在面部表情识别（FER）领域引起了广泛关注，特别是在处理遮挡情况下的鲁棒性研究方面。该数据集通过引入多模态语义引导（如语义分割图和面部关键点）来解决面部部分遮挡导致的特征提取困难问题。前沿研究集中在开发新型网络架构（如ORSANet），该架构结合了密集语义先验和稀疏几何先验，通过多尺度交叉交互模块（MCM）动态融合特征，显著提升了模型在复杂遮挡场景下的表现。此外，动态对抗排斥增强损失（DARELoss）的提出进一步优化了分类边界，增强了模型对相似表情的区分能力。Occlu-FER数据集的构建填补了真实遮挡场景下FER研究的空白，为未来在自动驾驶、人机交互等实际应用中的技术突破提供了重要基准。

相关研究论文

• Rethinking Occlusion in FER: A Semantic-Aware Perspective and Go Beyond

  电子科技大学计算机科学与工程学院 · 2025年