Self-Reviewed Emotion (SRE) Dataset; Human-Reviewed Emotion (HRE) Dataset

Omni-Emotion数据集由阿里巴巴集团同义实验室和中山大学联合创建，包含两个子数据集：SRE数据集和HRE数据集。SRE数据集包含24,137个视频样本，通过GPT评分筛选，确保与真实情感标签高度一致；HRE数据集包含3,500个手动验证的视频样本，进一步提升了数据质量。数据集内容涵盖多种情感场景，数据来源包括DFEW、MAFW等公开数据集。创建过程中，通过稀疏采样、面部跟踪和音频提取等技术，结合GPT-3.5进行一致性检查，确保数据的高质量。该数据集主要用于多模态情感分析，旨在解决现有模型在音频和面部微表情识别上的不足，推动情感分析在真实场景中的应用。

The Omni-Emotion dataset was jointly developed by the Synonymous Laboratory of Alibaba Group and Sun Yat-sen University, and consists of two sub-datasets: the SRE dataset and the HRE dataset. The SRE dataset contains 24,137 video samples, which were screened using GPT-based scoring to ensure high consistency with ground-truth emotion labels. The HRE dataset includes 3,500 manually verified video samples, further enhancing the overall data quality. The dataset covers a wide range of emotional scenarios, with data sources including public datasets such as DFEW and MAFW. During the dataset construction process, technologies including sparse sampling, facial tracking and audio extraction were adopted, combined with GPT-3.5 for consistency checking to guarantee high-quality data. This dataset is primarily intended for multimodal emotion analysis, aiming to address the limitations of existing models in audio and facial micro-expression recognition, and promote the application of emotion analysis in real-world scenarios.

原始信息汇总

数据集概述

数据集名称

Omni-Emotion

数据集状态

• 数据集详情页面显示“coming soon”，表明该数据集目前尚未发布或详细信息尚未公开。

数据集描述

• 由于数据集详情页面显示“coming soon”，目前无法获取该数据集的具体描述、内容、用途等信息。

数据集链接

• 数据集详情页面地址：https://github.com/HumanMLLM/Omni-Emotion

搜集汇总

数据集介绍

构建方式

Self-Reviewed Emotion (SRE) 和 Human-Reviewed Emotion (HRE) 数据集的构建基于现有的情感识别数据集，通过多模态大语言模型（MLLM）和面部分析模型生成详细的注释。首先，使用通用视频 MLLM 描述视频中的视觉线索，包括环境和人物特征。接着，提取面部轨迹，结合年龄/性别估计器和 MLLM 捕捉面部属性和微表情。随后，利用 GPT-3.5 确保一致性，生成多模态情感推理和开放词汇标签。最终，通过自评和人工验证，筛选出 24,137 个自评视频和 3,500 个人工验证视频，分别形成 SRE 和 HRE 数据集。

特点

SRE 和 HRE 数据集的特点在于其多模态性和详细的情感注释。SRE 数据集包含 24,137 个视频样本，通过 GPT-3.5 进行自评，确保与粗粒度标签的一致性。HRE 数据集则包含 3,500 个经过人工验证的视频，进一步提升了注释的准确性。数据集涵盖了丰富的场景和情感表达，能够有效支持模型在真实场景中的泛化能力。此外，数据集还提供了开放词汇标签和情感推理线索，增强了情感分析的深度和广度。

使用方法

SRE 和 HRE 数据集可用于训练和评估多模态情感分析模型。通过将音频和面部编码器集成到现有的视频 MLLM 中，模型能够捕捉细粒度的听觉和面部线索。具体使用步骤包括：首先，将音频特征和面部特征对齐到 MLLM 的嵌入空间；接着，利用高质量数据集同时训练三个编码器的投影器和 LLM 解码器；最后，通过指令调优，模型能够在情感识别和推理任务中表现出色。该数据集特别适用于开放词汇情感识别和多模态情感推理任务。

背景与挑战

背景概述

Self-Reviewed Emotion (SRE) Dataset 和 Human-Reviewed Emotion (HRE) Dataset 是由阿里巴巴集团通义实验室与中山大学的研究团队于2025年提出的，旨在解决多模态情感分析中的关键问题。情感分析在人机交互、教育工具和虚拟形象等领域具有重要应用，然而，传统单模态方法（如基于音频、文本或面部表情的情感识别）难以捕捉复杂的情感表达。为此，研究团队提出了这两个数据集，分别包含24,137个自评样本和3,500个人工标注样本，涵盖了详细的情感注释和多模态信息（如面部微表情和音频线索）。这些数据集为多模态大语言模型（MLLMs）提供了高质量的训练数据，推动了情感识别和推理任务的发展。

当前挑战

SRE 和 HRE 数据集在构建和应用中面临多重挑战。首先，情感的多模态特性使得模型需要同时整合音频、面部表情和上下文信息，这对模型的融合能力提出了极高要求。其次，情感表达的细微差异和文化背景的多样性增加了数据标注的难度，尤其是在捕捉面部微表情和音频情感线索时。此外，数据集的构建过程中，研究团队需要通过复杂的处理流程（如稀疏采样、面部跟踪和音频提取）来确保数据的一致性和质量，同时依赖GPT-3.5进行自评和人工验证，以消除标注中的不一致性。这些挑战不仅影响了数据集的构建效率，也对模型的泛化能力提出了更高要求。

常用场景

经典使用场景

Self-Reviewed Emotion (SRE) 和 Human-Reviewed Emotion (HRE) 数据集在多模态情感分析领域具有广泛的应用场景。这些数据集通过结合视频、音频和面部微表情等多模态信息，能够有效支持情感识别和推理任务。经典的使用场景包括视频情感分析、人机交互中的情感理解以及教育工具中的情感反馈。通过提供详细的注释和多样化的数据分布，这些数据集为模型在复杂情感表达中的泛化能力提供了坚实的基础。

实际应用

在实际应用中，SRE 和 HRE 数据集为情感分析技术的落地提供了重要支持。例如，在教育工具中，这些数据集可以帮助系统识别学生的情感状态，从而提供个性化的学习建议。在人机交互领域，情感分析技术可以用于智能助手的开发，使其能够更自然地理解和响应用户的情感需求。此外，这些数据集还可用于心理健康监测，通过分析用户的情感变化，提供及时的心理干预和支持。

衍生相关工作

SRE 和 HRE 数据集的推出催生了一系列相关研究工作。例如，基于这些数据集，研究者提出了 Omni-Emotion 模型，该模型通过整合音频和面部编码器，显著提升了多模态情感分析的性能。此外，这些数据集还推动了 Emotion-LLaMA 和 AffectGPT 等模型的发展，这些模型在情感推理和开放词汇情感识别任务中表现出色。这些衍生工作不仅验证了 SRE 和 HRE 数据集的价值，还为多模态情感分析领域的进一步发展提供了新的思路。