NEFER|面部表情识别数据集|神经形态计算数据集

我们提供NEFER数据集，用于神经形态事件驱动面部表情识别。该数据集包含配对的RGB和事件视频，代表人类面部，标记有相应的情绪，并注释有面部边界框和面部地标。数据集由RGB和事件摄像机序列组成，用户观看视频，每个视频都标有Paul Ekman定义的7种普遍情绪之一。

We present the NEFER dataset, designed for neuromorphic event-driven facial expression recognition. This dataset comprises paired RGB and event videos, representing human faces, labeled with corresponding emotions, and annotated with facial bounding boxes and facial landmarks. The dataset consists of sequences captured by RGB and event cameras, where users watch videos, each tagged with one of the seven universal emotions defined by Paul Ekman.

原始信息汇总

数据集概述

名称: NEFER

目的: 用于神经形态事件驱动面部表情识别

内容: 包含配对的RGB和事件视频，代表人类面部，标记有相应的情绪，并注有面部边界框和面部地标。

情绪标签:

• 厌恶
• 轻蔑
• 幸福
• 恐惧
• 愤怒
• 惊讶
• 悲伤

额外标签: "None"，用于当志愿者未感知到任何情绪时。

数据集结构:

• event_raw: 原始事件相机视频文件夹
• event_frames: 使用时间二进制表示法[2]获得的事件帧文件夹
• rgb_frames: RGB视频帧文件夹
• annotations: 包含训练和验证的多个CSV文件，分别对应RGB和事件数据（预期情绪）。每个文件还有一个对应的“主观”版本（报告情绪），由用户提供。

训练集用户: [01, 02, 04, 05, 06, 08, 09, 10, 11, 12, 13, 14, 15, 16,21, 22, 23, 24, 25, 26]

验证集用户: [03, 07, 17, 19, 27, 28]

额外注释: 面部地标和边界框即将提供。

下载链接: Google Drive

AI搜集汇总

数据集介绍

构建方式

NEFER数据集的构建基于神经形态事件相机技术，通过捕捉用户在观看视频时的面部表情变化，生成了成对的RGB视频和事件视频。数据集中的每一段视频均标注了七种基本情绪，这些情绪基于Paul Ekman的普遍情绪理论。此外，数据集还提供了两种标注版本：一种基于视频预期引发的情绪，另一种基于用户主观感知的情绪。数据集的训练集和验证集分别由不同的用户组成，确保了数据的多样性和泛化能力。

使用方法

NEFER数据集的使用方法较为灵活，研究者可以根据需求选择RGB视频或事件视频进行分析。数据集的结构清晰，分为原始事件视频、事件帧、RGB帧和标注文件四个部分。标注文件包含训练集和验证集的情绪标签，研究者可以通过这些标签进行情绪识别模型的训练与验证。此外，数据集还提供了主观感知情绪的标注版本，可用于研究用户情绪感知的个体差异。通过结合双模态数据和丰富的标注信息，NEFER为面部表情识别领域的研究提供了强有力的支持。

背景与挑战

背景概述

NEFER数据集由Lorenzo Berlincioni等研究人员于2023年提出，旨在推动基于神经形态事件的面部表情识别研究。该数据集结合了RGB视频和事件相机数据，捕捉了人类面部表情的细微变化，并标注了七种基本情绪，包括厌恶、蔑视、快乐、恐惧、愤怒、惊讶和悲伤。NEFER的创建不仅为情感计算领域提供了新的研究工具，还为神经形态视觉系统的开发提供了重要支持。该数据集在CVPR 2023会议上发布，标志着神经形态计算与情感识别交叉领域的重要进展。

当前挑战

NEFER数据集在解决面部表情识别问题时面临多重挑战。首先，事件相机数据的高时间分辨率与低空间分辨率之间的平衡需要精细处理，以确保表情特征的准确提取。其次，情绪标注的主观性带来了数据一致性问题，尽管数据集提供了预期情绪和用户感知情绪的双重标注，但如何有效利用这些信息仍需进一步研究。此外，数据集的构建过程中，事件相机与RGB数据的同步对齐以及面部关键点和边界框的精确标注也增加了技术难度。这些挑战不仅影响了数据集的构建质量，也为后续算法的开发提出了更高的要求。

常用场景

经典使用场景

NEFER数据集在神经形态事件驱动的面部表情识别领域具有重要应用。该数据集通过结合RGB视频和事件相机数据，捕捉了人类面部表情的细微变化，为研究者提供了一个多模态的数据平台。经典的使用场景包括利用事件相机的高时间分辨率特性，捕捉面部表情的瞬时变化，进而训练和验证深度学习模型，以提升面部表情识别的准确性和实时性。

解决学术问题

NEFER数据集解决了传统面部表情识别中因光照变化、遮挡等问题导致的识别精度下降的难题。通过引入事件相机数据，研究者能够更精确地捕捉面部表情的动态变化，从而提升模型在复杂环境下的鲁棒性。此外，数据集的双重标注机制（预期情感与主观感知情感）为情感识别研究提供了更丰富的标注信息，推动了情感计算领域的发展。

实际应用

在实际应用中，NEFER数据集可广泛应用于人机交互、情感计算和心理健康监测等领域。例如，在智能助手中，通过实时分析用户的面部表情，系统可以更准确地理解用户的情感状态，从而提供个性化的服务。在心理健康监测中，该数据集可用于开发情感识别算法，帮助医生更早地识别患者的情绪异常，提供及时的干预措施。

数据集最近研究

最新研究方向

在神经形态计算与情感识别领域，NEFER数据集的推出为基于事件相机的情感识别研究提供了新的视角。该数据集结合了RGB视频与事件相机数据，捕捉了人类面部表情的细微变化，尤其是在动态情感表达中的瞬时反应。通过标注七种基本情感及其主观感知，NEFER不仅支持传统的情感分类任务，还为情感识别的个性化与主观性研究提供了丰富的数据基础。当前研究热点包括利用事件相机的高时间分辨率特性，探索情感识别的实时性与鲁棒性，以及结合深度学习模型提升对复杂情感状态的识别精度。NEFER的发布为情感计算与神经形态视觉系统的交叉研究开辟了新路径，推动了情感识别技术在智能交互、心理健康监测等领域的应用。