awesome-affective-computing

这是一个关于情感计算与情感AI的精选资源合集，涵盖多模态情感识别、情感推理、多模态情感分析和共情大语言模型等领域。该合集收集并整理了相关的研究论文、数据集和工具包，旨在为研究人员提供全面的路线图和资源索引。

This is a curated collection of resources for affective computing and emotional AI, spanning multiple research domains including multimodal emotion recognition, emotion reasoning, multimodal sentiment analysis, and empathic large language models (LLMs). This collection has gathered and organized relevant research papers, datasets, and toolkits, aiming to provide researchers with a comprehensive roadmap and resource index.

原始信息汇总

数据集概述

该页面收录了一个名为 Awesome Affective Computing: Emotion Recognition, Reasoning & Intelligence 的精选资源仓库，旨在为情感计算领域的研究者提供一份结构化的路线图。仓库内容涵盖了从信号级感知到大语言模型（LLM）时代情感智能的演进。以下是该仓库中关于数据集的核心内容总结。

数据集与基准

该仓库专门设有“Datasets and Benchmarks”板块，其中整理了多个情感计算相关的数据集和评估基准。

数据集（Datasets）

仓库收录了超过30个与情感计算相关的多模态、生理及情感数据集。部分代表性数据集列举如下：

• 多模态情感视频数据

  • EmoVid (AAAI 2026)：用于视频生成的多模态情感视频数据集。
  • MMME (arXiv 2025.06)：自发的多模态微表情（视觉-生理）数据集。
  • EVA-MED (arXiv 2025.03)：增强的效价-唤醒度多模态情感数据集。
  • MAFW (ACM MM 2022)：大规模、多模态、复合情感数据库，用于野外动态面部表情识别。
  • M3ED (arXiv 2022.05)：多模态、多场景、多标签情感对话数据集。

• 情感对话数据

  • MELD (2018)：多模态情感对话数据集（基于《老友记》电视剧）。
  • MUStARD (2019)：用于讽刺和反语理解的多模态话语数据集。

• 情感与情绪强度数据

  • CMU-MOSEI (2018)：面向情感和情绪强度的大规模数据集。
  • CMU-MOSI (2017)：面向情感和情绪强度的大规模数据集。

• 面部表情数据

  • AffectNet (2017)：野外面部表情、效价和唤醒度计算数据集。
  • FERV39k (CVPR 2022)：大规模多场景视频面部表情识别数据集。
  • DFEW (2008)：野外动态面部表情数据集。

• 生理信号数据

  • DEAP (2011)：利用生理信号进行情感分析的数据库。
  • SEED (2015) 及 SEED-IV (2017)：上海交通大学开发的用于情感识别的脑电图（EEG）数据集。
  • PMEmo (2018)：基于生理信号的音乐情感识别数据集。

• 语音与音频数据

  • emoDB (2000)：德语情感语音数据库。
  • IEMOCAP (2008)：交互式情感二元运动捕捉数据库。

• 挑战赛系列数据

  • MER2023, MER2024, MER2025：多模态情感识别挑战赛系列数据集。
  • OV-MERD, MER-Caption+ (MER 2025)：2025年多模态情感识别挑战赛的数据集。

基准（Benchmarks）

仓库收录了用于评估LLMs、MLLMs及情感推理能力的全面基准。目前列出的基准示例包括：

• AV-EMO-R (arXiv 2025.10)：（具体评估焦点未提供，但其来源表明其与情感计算相关）。

其他相关板块中的数据集与资源

仓库还包含了与数据集和基准相关的其他板块，例如：

• 情感智能与大模型/多模态大模型 (Emotional Intelligence in Large Models)：该板块涵盖了许多依赖特定数据集进行训练和评估的论文及模型，例如，MERR (NeurIPS 2024) 多模态情感识别与推理数据集在此被引用。
• 工具包与挑战系列 (Toolkits & Challenges)：MuSe Challenge Series 和 MER Challenge Series 是重要的情感计算竞赛系列，其比赛过程通常伴随着专用数据集的发布。例如提到 MER2023, MER2024, MER2025 数据集即来源于此系列。

搜集汇总

数据集介绍

构建方式

该数据集通过系统梳理情感计算领域的前沿进展，以结构化方式整合了来自顶级学术会议与期刊的研究成果。构建过程涵盖了对信号级感知与大型语言模型驱动的情感推理两大范式的文献追踪，精选了包括综述、数据集、基准测试、工具包在内的多元资源，并依据模态类型与研究主题进行层级化组织，形成了从面部表情、语音、生理信号到多模态融合的完整资源图谱。

特点

该数据集最显著的特征在于其时代前瞻性与跨模态包容性，不仅收录了从DEAP、IEMOCAP等经典数据库到MER2025挑战赛的最新数据资源，更开创性地纳入了大型语言模型与多模态大模型在情感智能领域的应用文献。其内容覆盖了情感理解、推理、生成及合成等全链条研究环节，并特别强调了从传统模式识别到LLM时代情感推理的范式转型，为研究者提供了兼具历史纵深与前沿视野的导航地图。

使用方法

使用者可通过该数据集提供的层级化目录结构进行高效检索，根据研究兴趣定位至相应模块。例如，从事多模态情感识别的研究者可聚焦于'Multimodal Emotion Recognition'板块获取相关数据集与论文；关注大模型情感能力的学者则可直接查阅'Emotional Intelligence in Large Models'章节。每个条目均附有论文链接与代码仓库，便于研究者快速获取原始资料并复现实验，从而加速情感计算领域的科研进程。

背景与挑战

背景概述

情感计算（Affective Computing）作为人工智能与认知科学的交叉前沿，自Rosalind Picard于1997年提出以来，始终致力于赋予机器感知、理解乃至表达情感的能力。该领域的研究范式正经历从基于面部、语音及生理信号的模式识别，向以大型语言模型（LLM）驱动的上下文理解与因果推理的深刻转型。由Yorkson-huang等人维护的Awesome Affective Computing仓库，系统梳理了从信号级感知到LLM时代情感智能的演进脉络，汇聚了涵盖多模态情绪识别、情感推理与生成等方向的论文、数据集与工具包。该资源库追踪了EmoVid、MERR等最新基准，并整合了MER、MuSe等系列挑战赛，为研究者提供了探索人工情感智能（AEI）边界的综合性路线图，对推动情感计算从判别式任务向生成式智能的跨越具有重要参考价值。

当前挑战

当前情感计算面临的核心挑战体现在两个层面。在领域问题层面，现有模型多依赖离散情绪标签，难以捕捉真实情境中细微、混合或动态的情绪变化；多模态融合中，跨模态语义对齐与缺失模态下的鲁棒推理仍是难题；LLM虽展现出情感推理潜力，但其‘共情’本质源于统计模式而非真实情感体验，易产生刻板化响应。在构建过程中，高质量标注数据的获取成本高昂，情感标注受文化、语境与个体差异影响，一致性难以保证；公开数据集如DEAP、AffectNet等存在样本偏差，实验室诱发情绪与自然场景间的生态效度鸿沟显著；此外，隐私与伦理约束限制了生理信号数据的规模化采集，进一步加剧了模型泛化与公平性的挑战。

常用场景

经典使用场景

在情感计算这一交叉学科中，该数据集资源库为研究者提供了从信号级感知到大型语言模型驱动的情感推理的全景式导航。其最经典的使用场景在于支持多模态情感识别任务，研究者可基于其中收录的CMU-MOSEI、IEMOCAP、DEAP等经典数据集，开展面部表情、语音韵律、生理信号与文本语义的融合分析，从而构建能够感知人类复杂情感状态的智能系统。

解决学术问题

该资源库系统性地解决了情感计算领域长期存在的两大核心问题：一是多模态数据异构性与标注不一致性导致的实验复现困难，二是从传统模式识别向大模型时代情感推理跃迁时缺乏统一研究框架。通过汇聚SEED、AffectNet等基准数据集及Emotion-LLaMA等前沿工作，它显著降低了跨模态情感理解研究的入门门槛，推动了情感智能从离散标签分类向连续维度预测与因果推理的范式转型。

衍生相关工作

该资源库衍生了一系列具有里程碑意义的研究工作，推动了情感智能的纵深发展。例如，基于MELD和IEMOCAP数据集，研究者提出了对话上下文感知的情感识别模型；CMU-MOSEI催生了多模态情感强度预测的经典基线方法。在大型语言模型时代，Emotion-LLaMA与MERR等衍生工作开创了情感推理与多模态大模型融合的新范式，而MER挑战赛系列则持续驱动着算法在真实场景中的鲁棒性提升与标准化评估体系的建立。