FIRMED

FIRMED数据集由西北工业大学的研究团队创建，旨在通过即时回忆范式进行细粒度情绪标注，解决传统情绪生理数据集中粗粒度标注带来的标签噪声问题。该数据集收集了参与者在观看刺激后的即时回忆阶段所标记的情感事件时间戳、情感标签和强度，并通过生理证据和识别性能进行了验证。数据集收集了多种生理信号，包括脑电图（EEG）、心电图（ECG）、皮肤电反应（GSR）和光电容积描记图（PPG）数据，以及参与者观看刺激时的面部表情数据，提供了行为数据。数据集利用来自社交媒体平台的真实视频作为刺激，提高了生态效度。FIRMED数据集可用于情绪识别研究，以解决标签噪声问题并提高情绪识别性能。

The FIRMED dataset was developed by a research team from Northwestern Polytechnical University. It aims to perform fine-grained emotion annotation via the immediate recall paradigm, so as to resolve the label noise problem caused by coarse-grained annotations in traditional emotional physiological datasets. This dataset collects affective event timestamps, emotion labels and their intensities annotated by participants during the immediate recall stage after they viewed the stimuli, and has been validated using physiological evidence and recognition performance metrics. It gathers various physiological signals, including electroencephalogram (EEG), electrocardiogram (ECG), galvanic skin response (GSR) and photoplethysmography (PPG) data, as well as facial expression data of participants while they watched the stimuli, and also provides behavioral data. The dataset employs real videos sourced from social media platforms as experimental stimuli, which enhances its ecological validity. The FIRMED dataset can be applied to emotion recognition research to mitigate label noise issues and boost emotion recognition performance.

原始信息汇总

FIRMED数据集概述

基本信息

• 数据集名称：FIRMED
• 托管平台：GitHub
• 托管地址：https://github.com/NIlab666/FIRMED

数据集描述

（注：根据提供的README内容，该数据集未包含具体描述信息）

搜集汇总

数据集介绍

构建方式

FIRMED数据集的构建采用了创新的即时回忆标注范式，以解决传统视频诱发情感生理数据集中存在的标签噪声问题。研究团队通过严格的实验设计，在视频刺激呈现后立即进行回放，要求参与者基于即时回忆精确标记情感起始时间点、情感类别及强度。该范式结合了多模态生理信号采集，包括脑电图（EEG）、心电图（ECG）、皮肤电反应（GSR）和光电容积图（PPG），并通过固定4秒分析窗口确保数据的时间一致性。实验采用三阶段会话设计，共包含90段社交平台短视频作为生态效度验证的刺激材料，所有数据均经过专业预处理流程以消除噪声干扰。

使用方法

该数据集支持多层次的研究应用，使用者可通过标准化流程提取4秒时间窗内的多模态特征进行模型开发。对于EEG信号推荐采用微分熵特征，GSR信号建议使用一阶导数偏度指标，ECG和PPG分别适用RMSSD和脉搏波幅变率特征。研究证实动态图卷积神经网络（DGCNN）在该数据集上表现最优（61.4%准确率），多模态融合时EEG+GSR组合提升效果最显著（67.0%）。数据集采用留一被试交叉验证方案评估模型泛化性，并提供完整的生理信号预处理代码。为保障研究可复现性，建议严格遵循原始论文中的时间窗划分策略，即围绕标注点取[-2s,+2s]区间进行分析。

背景与挑战

背景概述

FIRMED（Fine-grained Immediate Recall-based Multimodal Emotion Dataset）是由西北工业大学电子与信息学院的Hao Tang、Songyun Xie等研究人员于2025年提出的多模态情感数据集。该数据集旨在解决传统视频诱发情感生理数据集中存在的粗粒度标注问题，即对整个实验试次赋予单一情感标签，忽略了情感反应的动态性和时间局部性。FIRMED通过引入即时回忆范式，允许参与者在刺激观看后立即回放视频并精确标记情感发生的时间戳、情感标签和强度，从而实现了细粒度的情感标注。该数据集不仅丰富了情感计算领域的研究资源，还为情感识别算法的评估和性能提升提供了更高质量的数据支持。

当前挑战

FIRMED数据集面临的挑战主要包括两个方面：1) 领域问题挑战：传统情感数据集的粗粒度标注导致了标签噪声问题，即情感标签与生理信号之间的不对齐，这限制了情感识别算法的评估和性能。FIRMED通过细粒度标注解决了这一问题，但仍需验证其在情感识别任务中的实际效果。2) 构建过程挑战：在数据收集过程中，如何确保参与者在即时回忆阶段准确标记情感发生的时间点和强度是一个关键挑战。此外，多模态生理信号的同步采集和质量控制也是构建过程中的技术难点。FIRMED通过生理证据和识别性能验证了其标注范式的有效性，但仍需进一步扩大数据集规模和多样性以提高其泛化能力。

常用场景

经典使用场景

FIRMED数据集在情感计算领域具有广泛的应用场景，特别是在情感识别和情感标注研究中。该数据集通过精细的时间标注和多模态生理信号（如EEG、ECG、GSR和PPG）的采集，为研究者提供了高质量的情感数据。其最经典的使用场景包括基于视频刺激的情感诱发实验，通过即时回放标注范式，研究者能够精确捕捉情感反应的动态变化，从而优化情感识别算法的性能。

解决学术问题

FIRMED数据集解决了传统情感数据集中存在的标注噪声问题。传统数据集通常采用整段标注方法，忽略了情感反应的动态性和时间局部性，导致标签噪声较大。FIRMED通过即时回放标注范式，显著提高了标注的时间精度，减少了标签噪声。此外，该数据集还通过多模态生理信号的验证，证实了主观标注与客观生理反应的一致性，为情感识别研究提供了可靠的数据支持。

实际应用

FIRMED数据集在实际应用中具有重要价值。例如，在心理健康监测领域，该数据集可以用于开发基于生理信号的情感识别系统，帮助识别和监测抑郁症、焦虑症等情感障碍。在人机交互领域，该数据集可以用于优化情感计算算法，提升智能助手、虚拟现实等应用的交互体验。此外，该数据集还可用于教育和娱乐领域，如个性化学习系统和情感驱动的游戏设计。

数据集最近研究

最新研究方向

在情感计算领域，FIRMED数据集以其精细化的标注方法成为研究热点。该数据集通过即时回忆范式实现了情感时间戳的精准标注，解决了传统全试次标注方法带来的标签噪声问题。生理信号验证表明，参与者标记的情感窗口内存在特定的EEG节律模式和GSR反应，其中高唤醒情感的皮肤电反应出现率高达91%，显著高于低唤醒情感的6%。这一发现为情感识别的生理基础提供了有力证据。在算法层面，基于精细标注训练的模型识别准确率比传统方法提升9.7%，印证了标注精度对模型性能的决定性作用。当前研究主要聚焦于多模态信号融合策略的优化，以及动态时间窗口的适应性调整，以进一步提升跨被试情感识别的泛化能力。该数据集的生态效度设计——采用社交媒体短视频作为刺激材料，也为真实场景下的情感计算研究提供了新的范式。

相关研究论文

• From Coarse to Fine-Grained Emotion Annotation: An Immediate Recall Paradigm with Validation through Physiological Evidence and Recognition Performance

  西北工业大学 · 2025年