Conflict in Acoustic-Semantic Emotion (CASE)

第一个在多种场景下以清晰和可解释的声学-语义冲突为主的数据集，用于系统评估声学与语义情感冲突下的语音情感识别。

The first dataset centered on explicit and interpretable acoustic-semantic conflicts across diverse scenarios, designed for the systematic evaluation of speech emotion recognition under acoustic-semantic emotional conflicts.

原始信息汇总

数据集概述

数据集基本信息

• 数据集名称: Conflict in Acoustic-Semantic Emotion (CASE)
• 核心贡献: 首个以清晰、可解释的声学-语义冲突为主导的数据集，用于系统评估语音情感识别模型在声学与语义信息矛盾场景下的鲁棒性。
• 发布状态: 已发布，可通过指定链接获取。
• 关联研究: 为论文《When Tone and Words Disagree: Towards Robust Speech Emotion Recognition under Acoustic-Semantic Conflict》及其提出的Fusion Acoustic-Semantic (FAS) 框架而构建。

数据集内容与特点

• 核心问题: 针对现实交互中常见的声学-语义冲突场景，即语音语调传达的情感与说话字面含义相矛盾。
• 数据场景: 包含多种情境下的声学-语义冲突样本。
• 评估作用: 用于揭示现有先进语音情感识别模型（包括基于ASR的、自监督学习方法和音频语言模型）在此类冲突下因语义偏见或声学-语义表征纠缠而导致的性能下降问题。

数据集获取与使用

• 下载地址: https://drive.google.com/file/d/1jiC17LsHnoszjclzD-SPrYoTO8kBgdkD/view?usp=drive_link
• 文件准备: 下载后，需将数据集移至指定目录（如 /path/to/dataset/CASE/），并准备相应的CSV标注文件（例如 CASE_test.csv），其格式需包含 Name,Text,Emotion 字段。
• 基准测试: 该数据集的测试集（CASE_test.csv）被用作评估基准，用于衡量模型在声学-语义冲突场景下的性能。

关联模型与性能

• 提出框架: Fusion Acoustic-Semantic (FAS) 框架，通过显式解耦声学和语义路径，并利用轻量级的基于查询的注意力模块进行桥接。
• 基准性能: 在CASE基准测试中，传统语音情感识别模型表现显著失败，而FAS框架取得了59.38%的准确率，设立了新的先进水平。

其他相关数据集

该研究还涉及并使用以下多个公开语音情感识别数据集进行训练与评估：

• IEMOCAP
• MER2024
• CMU-MOSEI
• MELD
• RAVDESS
• ESD
• Emo-Emilia
• EMOVO
• EmoDB

许可信息

• 项目许可: Apache-2.0 License。

搜集汇总

数据集介绍

构建方式

在语音情感识别领域，传统数据集往往默认声学情感与语义内容的一致性，然而现实交互中声学与语义的冲突现象普遍存在。CASE数据集通过精心设计，系统性地构建了以声学-语义冲突为主导的样本集合，其构建过程聚焦于采集那些语调传达的情感与字面含义明显矛盾的语音片段。该数据集覆盖多样化的场景，确保冲突实例既清晰又可解释，从而为评估模型在复杂真实情境下的鲁棒性提供了基准。

特点

CASE数据集的核心特征在于其专注于声学与语义的情感冲突，这是首个以明确、可解释的冲突为主导的基准。数据集中每个样本均呈现出语调情感与词汇含义之间的显著不一致，例如以欢快的语调表达悲伤的文本内容。这种设计使得数据集能够有效揭示现有语音情感识别模型因语义偏见或声学-语义表征纠缠而产生的性能缺陷，为推进鲁棒性研究提供了关键资源。

使用方法

使用CASE数据集时，研究人员可将其作为评估基准，以测试语音情感识别模型在声学-语义冲突下的性能。数据集通常以标准音频文件及对应的标注CSV文件形式提供，包含音频路径、文本转录及情感标签。用户可通过加载这些文件，利用如PyTorch等框架集成到训练或评估流程中，特别适用于验证如FAS等解耦声学与语义通路的先进框架，以提升模型在冲突场景下的准确性与泛化能力。

背景与挑战

背景概述

在语音情感识别领域，传统研究通常假设语音的声学特征与语义内容在情感表达上保持一致。然而，现实对话中常出现声学与语义情感相冲突的现象，即语调传达的情感与词汇字面含义相矛盾，这一复杂情境长期被忽视。为系统探究此问题，研究团队于2025年创建了首个专注于声学-语义情感冲突的数据集CASE。该数据集旨在推动语音情感识别模型在真实、复杂场景下的鲁棒性评估，通过精心设计的冲突样本，挑战现有模型对多模态情感线索的融合与解耦能力，为领域引入了新的研究范式和评估基准。

当前挑战

CASE数据集所针对的核心挑战在于解决声学-语义情感冲突下语音情感识别的鲁棒性问题。现有先进模型，包括基于自动语音识别、自监督学习及音频语言模型的方法，在此类冲突中因语义偏见或声学-语义表征纠缠而性能显著下降。构建过程中的挑战则集中于冲突样本的收集与标注：需在多样场景中人工设计或筛选出语调与文本情感明显矛盾的语音实例，确保冲突清晰可解释；同时需维持数据集的平衡性与代表性，以支持模型在领域内及零样本场景下的系统性评估。

常用场景

经典使用场景

在语音情感识别领域，传统模型往往默认语音的声学特征与语义内容在情感表达上保持一致，然而现实交互中声学与语义的冲突却屡见不鲜。CASE数据集正是为系统评估此类冲突场景而构建，其经典使用场景在于为研究者提供一个包含大量明确、可解释的声学-语义矛盾样本的基准测试平台。通过模拟诸如用欢快的语调说出悲伤的语句，或以平静的语气表达愤怒内容等多样化情境，该数据集能够有效检验模型在复杂真实环境下的鲁棒性与泛化能力。

实际应用

在实际应用层面，CASE数据集所针对的声学-语义冲突现象广泛存在于人机交互、心理健康分析、智能客服及内容审核等场景。例如，在临床心理评估中，患者可能以轻松的口吻描述痛苦经历；或在虚拟助手中，用户可能用讽刺的语气表达不满。基于CASE数据集开发的鲁棒性模型，能够更准确地捕捉此类复杂微妙的情感信号，提升系统对真实人类交流中非字面情感意图的理解能力，从而增强相关应用的服务质量与用户体验。

衍生相关工作

CASE数据集的发布催生了一系列专注于解决模态冲突的经典研究工作。其直接衍生的融合声学-语义框架，通过显式解耦声学与语义通路并利用轻量级查询注意力模块进行桥接，为处理跨模态不一致性提供了新颖的架构范式。该数据集也激励了后续研究探索更精细的对抗性样本构建、基于因果推理的模态去偏方法，以及面向零样本场景的泛化技术，共同推动了语音情感识别领域向更高鲁棒性和可解释性迈进。