AFFEC

AFFEC数据集是一个多模态数据集，旨在捕捉面对面情感交互的动态复杂性，包含从73名参与者记录的84个模拟情感对话，包括超过5000次试验和20000多个标签，涵盖了脑电图（EEG）、眼动追踪、皮肤电导（GSR）、面部视频和五大人格特质评估。该数据集明确区分了表达情绪、感知情绪和感受情绪，为研究人员提供了开发情境敏感、自适应和个性化的情绪识别模型的重要资源。

The AFFEC dataset is a multimodal dataset designed to capture the dynamic complexity of face-to-face emotional interactions. It includes 84 simulated emotional dialogues recorded from 73 participants, with over 5,000 trials and more than 20,000 labels. The dataset covers electroencephalogram (EEG), eye tracking, galvanic skin response (GSR), facial videos, and Big Five personality trait assessments. This dataset explicitly distinguishes among expressed emotion, perceived emotion, and experienced emotion, serving as a valuable resource for researchers to develop context-sensitive, adaptive, and personalized emotion recognition models.

原始信息汇总

AFFEC Multimodal Dataset 概述

基本信息

• DOI: 10.5281/zenodo.14794876
• 发布日期: 2025年2月3日
• 版本: 0.1
• 许可协议: Creative Commons Attribution 4.0 International
• 发布者: Zenodo
• 创建者:
  • IT University of Copenhagen (Hosting institution)
  • Jamshidi Seikavandi, Meisam
  • Dixen, Laurits
  • Burelli, Paolo

数据集描述

• 名称: AFFEC (Advancing Face-to-Face Emotion Communication) Dataset
• 概述: 多模态数据集，用于情感识别研究，捕捉动态人类互动。
• 数据模态:
  • 脑电图 (EEG)
  • 眼动追踪
  • 皮肤电反应 (GSR)
  • 面部运动
  • 自我注释
• 数据规模:
  • 84个模拟情感对话
  • 72名参与者
  • 超过5,000次试验
  • 超过20,000个情感标签

数据集结构

• 格式: Brain Imaging Data Structure (BIDS)
• 根文件夹:
  • sub-*: 个体受试者文件夹
  • dataset_description.json: 数据集元数据
  • participants.json 和 participants.tsv: 参与者人口统计和属性
  • task-fer_events.json: FER任务的事件注释
  • README.md: 文档文件

受试者文件夹 (sub-<subject_id>)

• 行为数据 (beh/): 生理记录 (眼动追踪, GSR, 面部分析, 光标追踪)
• EEG数据 (eeg/): EEG记录 (.edf 和 .json)
• 事件文件 (*.tsv): 情感识别任务的试验事件数据
• 通道描述 (*_channels.tsv): EEG通道信息

数据模态和通道

1. 眼动追踪数据

   • 通道: 16
   • 采样率: 62 Hz
   • 试验: 5632

2. 瞳孔数据

   • 通道: 21
   • 采样率: 149 Hz
   • 试验: 5632

3. 光标追踪数据

   • 通道: 4
   • 采样率: 62 Hz
   • 试验: 5632

4. 面部分析数据

   • 通道: 超过200
   • 采样率: 40 Hz
   • 试验: 5680

5. 皮肤电活动 (EDA) 和生理传感器

   • 通道: 40
   • 采样率: 50 Hz
   • 试验: 5438

6. EEG数据

   • 通道: 63
   • 采样率: 256 Hz
   • 参考: 左耳垂
   • 试验: 5632

7. 自我注释

   • 试验: 5807
   • 每个试验的注释: 4
   • 事件标记: 开始时间, 持续时间, 试验类型, 情感标签

实验设置

• 任务: 面部情感识别 (FER) 任务
• 参与者: 观看情感表达视频刺激
• 记录: 生理和行为反应
• 自我报告: 感知和感受情感的评分

应用领域

• 情感计算
• 人机交互
• 情感识别和分类
• 多模态信号处理
• 神经科学和认知建模
• 医疗和心理健康监测

文件列表

• core.zip: 5.6 MB
• cursor.zip: 448.4 MB
• dataset_description.json: 1.2 kB
• eeg.zip: 10.3 GB
• gaze.zip: 1.1 GB
• gsr.zip: 490.9 MB
• pupil.zip: 973.9 MB
• videostream.zip: 8.9 GB

其他信息

• 收集日期: 2024年5月1日
• 总数据量: 68.6 GB
• 总下载量: 32
• 总浏览量: 84

搜集汇总

数据集介绍

构建方式

AFFEC数据集通过精心设计的实验范式构建，采用84段模拟情绪对话作为刺激材料，覆盖六种基本情绪类型。数据采集过程中，73名受试者在标准化实验环境下完成5,000余次试验，同步记录脑电图(EEG)、眼动追踪、皮肤电反应(GSR)、面部视频等多模态数据。特别值得注意的是，该数据集创新性地采用双标注系统，分别记录被试自我报告的情绪体验(felt emotion)和对刺激情绪的感受(perceived emotion)，并通过BIDS标准进行数据组织，确保数据结构化与可追溯性。

使用方法

研究者可通过Zenodo平台获取符合BIDS规范的结构化数据，包含原始信号与预处理版本。数据集支持多种分析路径：既可进行单模态的专项研究（如基于EEG的情绪分类），也支持多模态融合分析。配套提供的Python工具包包含特征提取、数据分割及基线模型实现，其中60%/20%/20%的标准数据划分方案支持可重复的模型验证。特别建议结合人格特质数据进行分层分析，以探索个体差异对情绪加工的影响。对于高级应用，数据集的时间对齐特性支持开发基于注意力机制的跨模态融合模型。

背景与挑战

背景概述

Advancing Face-to-Face Emotion Communication (AFFEC) 是由哥本哈根IT大学、丹麦技术大学以及人工智能先锋中心的研究团队于2025年推出的多模态情感识别数据集。该数据集旨在解决真实场景中情感识别的复杂性，通过整合脑电图（EEG）、眼动追踪、皮肤电反应（GSR）、面部视频以及大五人格评估等多维度数据，捕捉84个模拟情感对话中的六种基本情绪。AFFEC的独特之处在于明确区分了感知情绪（观察者对刺激的解读）与感受情绪（参与者内部的情感体验），为情感计算、人机交互及社交机器人领域提供了更贴近真实交互的研究资源。

当前挑战

AFFEC数据集面临的挑战主要体现在两方面：领域问题方面，情感识别需克服非语言线索的微妙性、个体差异的多样性以及实时交互的动态性，而现有数据集多受限于单一模态或受控条件；构建过程方面，多模态数据的同步采集与标注复杂度高，需确保EEG、眼动等信号的时空对齐，且需处理参与者主观报告与客观生理数据之间的潜在偏差。此外，人格特质对情感表达的影响增加了数据建模的维度，要求算法具备更强的上下文适应性与个性化处理能力。

常用场景

经典使用场景

在情感计算与人机交互领域，AFFEC数据集通过整合脑电图、眼动追踪、皮肤电反应及面部视频等多模态数据，为研究者提供了模拟真实对话场景下情感动态的丰富素材。其经典应用场景包括开发能够区分感知情绪与真实情绪的算法模型，尤其在社交机器人情感响应系统优化中表现突出。数据集通过84组情感对话模拟和73名参与者的5000余次试验，为分析非言语线索（如微表情、瞳孔变化）与生理信号的关联提供了标准化平台。

解决学术问题

该数据集有效解决了情感识别研究中生态效度不足的核心问题。传统研究受限于单一模态或实验室环境，难以捕捉真实互动中情绪的复杂性。AFFEC通过同步记录神经活动（EEG）、自主神经系统反应（GSR）及视觉注意模式（眼动），首次实现了对表达情绪、感知情绪与真实情绪的三重标注，为情绪产生与感知的神经机制研究提供了新范式。其包含的大五人格数据进一步揭示了特质情绪敏感性对算法性能的影响，推动了个性化情感计算模型的发展。

实际应用

在医疗康复与智能客服等实际场景中，AFFEC支持开发具有情绪适应能力的交互系统。例如，通过分析抑郁症患者的面部微表情与皮肤电反应模式，可构建早期筛查工具；其眼动-EEG融合数据则被用于优化虚拟教师的情绪反馈机制，根据学习者注意力波动动态调整教学内容。数据集标注的20,000余条情绪标签为金融领域的情绪风险评估模型提供了高精度训练样本，显著提升了欺诈检测中对紧张情绪的识别准确率。

数据集最近研究

最新研究方向

近年来，情感计算领域对多模态情感识别的需求日益增长，AFFEC数据集作为一项创新性资源，为研究者提供了丰富的多模态数据，包括脑电图（EEG）、眼动追踪、皮肤电反应（GSR）和面部视频等。该数据集独特之处在于明确区分了感知情绪（Ep）和感受情绪（Ef），为情感识别模型的个性化和上下文适应性研究提供了重要支持。前沿研究方向主要集中在多模态融合技术的优化，如基于注意力的深度学习架构和时序动态建模，以提升情感识别的准确性和鲁棒性。此外，结合人格特质（如大五人格）的情感预测模型也备受关注，旨在探索个体差异对情感表达和感知的影响。AFFEC数据集的发布不仅推动了情感计算技术的发展，还为社交机器人、心理健康监测等应用场景提供了新的研究工具。

相关研究论文

• Advancing Face-to-Face Emotion Communication: A Multimodal Dataset (AFFEC)

  哥本哈根信息技术大学 · 2025年