FER-2013, CK+, AffectNet|面部表情识别数据集|情感分析数据集

FER-2013包含约35,000张不同表情的面部RGB图像，大小限制为48x48，主要标签分为7种：愤怒、厌恶、恐惧、快乐、悲伤、惊讶、中性。CK+数据集包含从123个不同受试者的593个视频序列中提取的图像，显示从中性表情到目标峰值表情的面部变化。AffectNet是一个大型面部表情数据集，包含41,000张图像，分为八类面部表情，包括中性、快乐、愤怒、悲伤、恐惧、惊讶、厌恶和轻蔑，以及情绪的强度。

The FER-2013 dataset comprises approximately 35,000 facial RGB images of various expressions, each constrained to a size of 48x48 pixels. The primary labels are categorized into seven emotions: anger, disgust, fear, happiness, sadness, surprise, and neutral. The CK+ dataset includes images extracted from 593 video sequences of 123 different subjects, showcasing facial transitions from neutral expressions to peak target expressions. AffectNet is a large-scale facial expression dataset containing 41,000 images, classified into eight categories of facial expressions, including neutral, happiness, anger, sadness, fear, surprise, disgust, and contempt, along with the intensity of the emotions.

原始信息汇总

数据集概述

数据集组成

• FER-2013: 包含约35,000张48x48像素的面部RGB图像，分为7种表情类别。
• CK+: 从593个视频序列中提取的1000张高变异图像，显示从中性表情到目标峰值表情的面部变化。
• AffectNet: 包含41,000张图像，分为8种表情类别，同时记录了情绪的强度。

数据集处理

• 数据缩放: 将图像缩放到224x224像素，以适应预训练模型的要求。
• 数据通道: 使用RGB通道。
• 数据增强: 应用亮度、旋转、缩放、平移和缩放增强，以增加样本量并平衡数据集的类别变化。

模型架构

• 输入图像被分割成固定大小的块，通过16x16的卷积层处理。
• 使用位置嵌入和线性嵌入在768维投影空间中进行嵌入。
• 通过11个连续的Transformer Encoders处理嵌入的块。
• 最终分类层为8维，对应8种情绪。

数据集使用

• 数据集用于训练和验证，分为两个子集（训练和验证），每个子集包含8个子文件夹，对应不同的类别标签。

AI搜集汇总

数据集介绍

构建方式

FER-2013、CK+和AffectNet三个数据集共同构成了该研究项目的基础数据源。FER-2013包含约35,000张48×48像素的RGB面部表情图像，涵盖7种基本情绪类别。CK+数据集则从593个视频序列中提取了1,000张高方差图像，展示了从中性表情到目标峰值表情的转变。AffectNet则提供了41,000张图像，涵盖8种情绪类别，并包含情感强度和唤醒度的标注。这些数据集经过整合后，被划分为训练集和验证集，每个子集下按情绪类别进一步分类。

特点

该数据集的特点在于其多样性和广泛性。FER-2013提供了大量标准化的面部表情图像，CK+则通过视频序列捕捉了表情的动态变化，而AffectNet不仅包含丰富的情绪类别，还提供了情感强度和唤醒度的量化信息。此外，数据集经过预处理，包括图像缩放至224×224像素、RGB通道标准化以及数据增强（如亮度调整、旋转、缩放等），以提升模型的泛化能力并平衡类别分布。

使用方法

该数据集的使用方法主要围绕Vision Transformer模型的训练与验证展开。首先，通过加载和整合FER-2013、CK+和AffectNet的数据，生成训练集和验证集。随后，利用预训练的Vision Transformer模型进行微调，输入图像被分割为固定大小的块，经过卷积和嵌入处理后，由11层Transformer编码器进行特征提取。最终，通过一个8维线性层完成情绪分类任务。整个流程在Google Colab环境中实现，依托NVIDIA P100硬件加速，确保了高效的计算性能。

背景与挑战

背景概述

FER-2013、CK+和AffectNet数据集是面部表情识别（FER）领域的重要资源，广泛应用于情感计算和人机交互研究。FER-2013数据集由Pierre-Luc Carrier和Aaron Courville于2013年创建，包含约35,000张48×48像素的面部图像，涵盖七种基本情感类别。CK+数据集是Cohn-Kanade数据集的扩展版本，由Jeffrey Cohn等人开发，包含从视频序列中提取的高分辨率面部表情图像，适用于动态表情分析。AffectNet数据集由Ali Mollahosseini等人于2017年发布，包含超过41,000张图像，涵盖八种情感类别，并提供了情感强度和唤醒度的标注。这些数据集共同推动了面部表情识别技术的发展，为情感计算和心理学研究提供了重要支持。

当前挑战

FER-2013、CK+和AffectNet数据集在应用和构建过程中面临多重挑战。首先，FER-2013数据集中‘厌恶’类别的样本数量显著少于其他类别，导致类别不平衡问题，可能影响模型的泛化能力。其次，CK+数据集虽然提供了高质量的视频序列，但其样本量相对较小，且部分数据需要通过外部资源补充，限制了其在大规模训练中的应用。AffectNet数据集虽然规模较大，但其情感类别标注的准确性和一致性仍需进一步验证。此外，数据集的异构性（如分辨率、格式和标注标准不同）增加了数据整合和预处理的复杂性。在模型训练中，如何有效利用这些数据集进行迁移学习和微调，同时解决类别不平衡和数据增强问题，是当前研究的主要挑战。

常用场景

经典使用场景

FER-2013、CK+和AffectNet数据集在面部表情识别（FER）领域中被广泛使用，尤其是在基于深度学习的视觉模型训练中。这些数据集通过提供大量标注的面部表情图像，帮助研究人员开发和验证各种面部表情识别算法。特别是FER-2013数据集，由于其图像尺寸统一且类别分布较为均衡，常被用于基准测试和模型性能评估。

解决学术问题

这些数据集解决了面部表情识别领域中的多个关键问题，如表情类别的多样性、表情强度的量化以及跨文化表情识别的挑战。通过整合FER-2013、CK+和AffectNet数据集，研究人员能够构建更鲁棒的模型，以应对表情识别中的复杂性和多样性问题。此外，这些数据集还为情感计算、人机交互和心理研究提供了重要的数据支持。

衍生相关工作

基于FER-2013、CK+和AffectNet数据集，许多经典的面部表情识别模型得以开发。例如，Vision Transformer（ViT）模型在这些数据集上进行了微调，显著提升了表情识别的准确性和鲁棒性。此外，这些数据集还催生了一系列基于深度学习的表情识别算法，如卷积神经网络（CNN）和生成对抗网络（GAN），进一步推动了面部表情识别技术的发展。