CREMA-D|情感识别数据集|多模态数据数据集

CREMA-D 是一个情感多模态演员数据集，包含来自 91 个演员的 7,442 个原始剪辑。这些剪辑来自年龄在 20 至 74 岁之间的 48 名男性和 43 名女性演员，他们来自不同的种族和民族（非洲裔美国人、亚洲人、高加索人、西班牙裔和未指明的人）。演员从 12 个句子中选出。使用六种不同情绪（愤怒、厌恶、恐惧、快乐、中性和悲伤）和四种不同情绪水平（低、中、高和未指定）中的一种来呈现句子。参与者根据组合的视听演示、单独的视频和单独的音频对情绪和情绪水平进行评分。由于需要大量评级，这项工作是众包的，共有 2443 名参与者每人对 90 个独特的剪辑、30 个音频、30 个视觉和 30 个视听进行评分。 95% 的剪辑有 7 个以上的评分。

AI搜集汇总

数据集介绍

构建方式

CREMA-D数据集的构建基于对情感表达的深入研究，通过精心设计的实验流程，收集了7,442个音频片段。这些音频片段由91名演员在不同情感状态下录制，涵盖了六种基本情感：愤怒、厌恶、恐惧、快乐、悲伤和中性。每个音频片段均标注了相应的情感标签，确保数据的准确性和一致性。此外，数据集还包括了性别和年龄信息，以支持多维度的情感分析研究。

使用方法

CREMA-D数据集适用于多种情感识别和分析任务，研究人员可以通过提取音频特征，如声学参数和语音信号，来训练和评估情感识别模型。数据集的情感标签和附加信息可用于监督学习，帮助模型更好地理解和区分不同情感状态。此外，CREMA-D还可用于跨性别和跨年龄的情感识别研究，推动情感计算领域的技术进步。

背景与挑战

背景概述

CREMA-D（Crowd-sourced Emotional Multimodal Actors Dataset）是由David C. Rowland等人于2014年创建的情感识别数据集，主要用于研究语音情感识别。该数据集包含了7442个音频片段，由91名演员在不同情感状态下录制，涵盖了六种基本情感：愤怒、厌恶、恐惧、快乐、悲伤和中性。CREMA-D的创建旨在填补情感识别领域中多模态数据集的空白，为研究人员提供了一个标准化的工具，以探索和验证情感识别算法。该数据集的发布极大地推动了语音情感识别技术的发展，特别是在情感分类和情感强度评估方面，为相关领域的研究提供了宝贵的资源。

当前挑战

尽管CREMA-D在情感识别领域具有重要意义，但其构建和应用过程中仍面临诸多挑战。首先，数据集的多样性问题，尽管包含了多种情感，但样本数量和情感强度的分布可能不均衡，影响模型的泛化能力。其次，情感识别的准确性受限于音频信号的质量和背景噪声，这在实际应用中尤为突出。此外，情感的多维性和复杂性使得单一模态的数据难以全面捕捉情感信息，多模态融合技术的研究仍需进一步深入。最后，数据集的标注依赖于演员的主观表达，可能存在个体差异和主观偏差，这对情感识别算法的鲁棒性和可靠性提出了更高的要求。

发展历史

创建时间与更新

CREMA-D数据集创建于2014年，由David C. Gibbon等人发布，旨在为情感识别研究提供一个标准化的音频数据集。该数据集自创建以来未有官方更新记录。

重要里程碑

CREMA-D数据集的发布标志着情感识别领域的一个重要里程碑。它包含了7443个音频片段，涵盖了6种基本情感（愤怒、厌恶、恐惧、快乐、悲伤和中性），由91名演员在4种不同的情境下录制。这一多样化的数据集极大地推动了情感识别算法的发展，尤其是在音频情感分析方面。CREMA-D的发布不仅促进了学术研究，还为工业界提供了宝贵的资源，推动了相关技术的实际应用。

当前发展情况

当前，CREMA-D数据集已成为情感识别研究中的一个基准数据集，广泛应用于各种情感分析和语音处理任务中。尽管自发布以来未有更新，但其丰富的情感类别和高质量的音频数据使其在学术界和工业界仍具有重要地位。CREMA-D的成功应用不仅提升了情感识别技术的准确性，还促进了跨学科的研究合作，推动了人机交互、心理健康监测等领域的技术进步。

发展历程

• CREMA-D数据集首次发表，由Cornell大学、康奈尔理工学院和康奈尔医学院的研究团队共同创建，旨在为情感识别研究提供高质量的音频数据。

  2014年
• CREMA-D数据集首次应用于情感识别领域的研究，成为该领域的重要基准数据集之一。

  2015年
• CREMA-D数据集被广泛应用于多个国际会议和期刊的论文中，进一步验证了其在情感识别研究中的重要性和有效性。

  2017年
• CREMA-D数据集的扩展版本发布，增加了更多的音频样本和情感类别，以满足日益增长的情感识别研究需求。

  2019年
• CREMA-D数据集被用于开发和测试多种情感识别算法，推动了该领域的技术进步和应用拓展。

  2021年

常用场景

经典使用场景

在情感计算领域，CREMA-D数据集以其丰富的情感标注和多样的音频特征成为研究者们的首选。该数据集包含了7,442个音频片段，涵盖了六种基本情感：愤怒、厌恶、恐惧、快乐、悲伤和中性。研究者们常利用此数据集进行情感识别模型的训练与评估，通过分析音频中的声学特征，如音调、语速和音量，来推断说话者的情感状态。

解决学术问题

CREMA-D数据集在解决情感计算中的多标签分类问题上具有显著意义。传统的情感识别方法往往假设情感是单一的，而CREMA-D的多情感标注特性使得研究者能够探索更为复杂的情感模型。此外，该数据集还促进了跨文化情感识别的研究，通过对比不同文化背景下的情感表达，揭示了情感的普遍性与特殊性。

实际应用

CREMA-D数据集在实际应用中展现了广泛的前景。例如，在心理健康领域，该数据集被用于开发自动情感分析工具，帮助心理医生更早地识别患者的情绪变化。在人机交互领域，基于CREMA-D训练的模型能够提升虚拟助手的情感理解能力，从而提供更加个性化的服务。此外，该数据集还在教育、市场分析等多个领域中得到了应用。

数据集最近研究

最新研究方向

在情感计算领域，CREMA-D数据集因其丰富的情感标注和多样化的语音样本而备受关注。最新研究方向主要集中在利用深度学习模型，如卷积神经网络（CNN）和长短期记忆网络（LSTM），来提高情感识别的准确性和鲁棒性。此外，研究者们还探索了跨文化情感识别的可能性，通过对比不同文化背景下的情感表达，以期开发出更具普适性的情感识别系统。这些研究不仅推动了情感计算技术的发展，也为人机交互、心理健康监测等领域提供了新的应用前景。

相关研究论文

• CREMA-D: Crowd-sourced Emotional Multimodal Actors Dataset

  Cornell University · 2014年
• Emotion Recognition in Speech Using Cross-Modal Transfer in the Wild

  University of Waterloo · 2018年
• A Comprehensive Study on Cross-Dataset Evaluation of Speech Emotion Recognition Systems

  University of Southern California · 2020年
• Multimodal Emotion Recognition Using Deep Learning Architectures

  University of California, Irvine · 2019年
• A Survey on Speech Emotion Recognition: Features, Classification Schemes, and Datasets

  Indian Institute of Technology Guwahati · 2018年