EAV2024

在这项研究中，引入了一个多模态情绪数据集，包括来自42名参与者的30通道脑电图(EEG)、音频和视频记录的数据。每个参与者都参与了一个基于线索的对话场景，引出了五种不同的情绪:中性、愤怒、快乐、悲伤和冷静。在整个实验过程中，每个参与者都参与了200次互动，其中包括听和说。

In this study, a multimodal emotion dataset is introduced, which encompasses 30-channel electroencephalogram (EEG) recordings, as well as audio and video data collected from 42 participants. Each participant engaged in a cue-based dialogue scenario that elicited five distinct emotions: neutral, anger, happiness, sadness, and calmness. Throughout the entire experiment, each participant completed 200 interactions involving both listening and speaking.

搜集汇总

数据集介绍

构建方式

EAV2024数据集是一个多模态情绪识别数据集，它包含了来自42名参与者的30通道脑电图(EEG)、音频和视频记录。每个参与者在基于提示的对话场景中，引发五种不同的情绪：中性(N)、愤怒(A)、快乐(H)、悲伤(S)和冷静(C)。参与者与一位经验丰富的演员的录音进行配对听/说设置，演员坐在一个显示视觉刺激的27英寸显示器前。实验设计为伪随机类别迭代序列：[A, A, C, C, S, S, H, A, C, H, H, S, S, A, A, C, C, H, H, S]。在整个实验中，每位参与者贡献了200次交互。这导致所有参与者总共产生了8,400次交互。

使用方法

EAV2024数据集的使用方法分为以下步骤：首先，需要选择使用原始数据集还是预处理后的特征数据。如果使用原始数据集，需要调整`Dataload_Audio.py`文件中的`parent_directory`参数。使用原始数据集允许自定义训练和测试数据的分割比例。如果选择使用预处理后的特征，需要修改代码，取消注释预处理特征部分，并设置`direct`变量指向包含“Audio”目录的路径。接下来，需要选择分类模型。对于音频模态，使用了在AudioSet数据集上预训练的Audio Spectrogram Transformer (AST)模型，并在此基础上进行微调。对于视频和脑电图模态，可以选择使用基于Transformer或CNN的模型。最后，可以通过命令行运行程序，例如运行`python Dataload_audio.py`来执行音频模态的数据加载和处理。

背景与挑战

背景概述

EAV2024数据集是一项创新性的多模态情感识别研究项目，旨在通过融合脑电图（EEG）、音频和视频数据来识别对话场景中的情感。该数据集由来自42名参与者的数据组成，每名参与者参与了一个基于提示的对话场景，引发五种不同的情感：中性（N）、愤怒（A）、幸福（H）、悲伤（S）和冷静（C）。参与者与一位经验丰富的演员进行配对聆听/说话练习，演员坐在27英寸的显示器前，显示视觉刺激。实验设计为伪随机类别迭代序列：[A, A, C, C, S, S, H, A, C, H, H, S, S, A, A, C, C, H, H, S]。在整个实验过程中，每位参与者贡献了200次互动，总共有8,400次互动。

当前挑战

EAV2024数据集面临的挑战主要涉及以下几个方面：首先，由于多模态数据的复杂性，如何有效地融合EEG、音频和视频数据以实现准确的情感识别是一个重要的挑战。其次，不同模态数据可能具有不同的特征和噪声水平，因此需要开发鲁棒的数据预处理和特征提取方法。此外，由于情感识别是一个主观性较强的任务，如何确保数据集的可靠性和一致性也是一个挑战。最后，尽管EAV2024数据集提供了丰富的情感识别数据，但如何将研究成果转化为实际应用仍然需要进一步探索。

常用场景

经典使用场景

在情绪识别的研究领域，EAV数据集提供了一个多模态的数据资源，包含来自30通道脑电图（EEG）、音频和视频记录的数据。这个数据集由42名参与者在基于提示的对话场景中收集，每个参与者通过听和说的活动引发五种不同的情绪：中性、愤怒、快乐、悲伤和冷静。EAV数据集的构建旨在模拟现实生活中的对话环境，为研究情绪识别提供了宝贵的资源。

解决学术问题

EAV数据集解决了在多模态情绪识别中数据稀缺的问题。传统的情绪识别研究往往依赖于单一模态的数据，而EAV数据集提供了一个综合性的数据集，涵盖了脑电图、音频和视频三种模态，使得研究人员能够从多角度分析情绪，从而提高情绪识别的准确性和可靠性。此外，EAV数据集还提供了预提取的特征，降低了数据处理的复杂性，为研究者提供了便利。

实际应用

EAV数据集的实际应用场景广泛，包括但不限于智能客服系统、人机交互界面、心理健康评估和情感分析等。通过利用EAV数据集，开发者可以构建更加智能的情绪识别系统，从而提高用户体验，例如，智能客服系统可以根据用户的情绪调整服务策略，人机交互界面可以根据用户的情绪提供更加个性化的服务。

数据集最近研究

最新研究方向

EAV数据集，作为首个结合脑电图（EEG）、音频和视频的多模态情感识别数据集，为研究对话场景下的情感识别提供了宝贵资源。该数据集涵盖了30通道EEG、音频和视频记录，共涉及42名参与者，他们在基于线索的对话场景中表现出了中性、愤怒、快乐、悲伤和冷静五种情感。EAV数据集的引入推动了情感计算领域的前沿研究，尤其是多模态情感识别和情感表达理解。研究者可以利用该数据集来开发新的情感识别模型，探索不同模态之间的协同效应，以及如何在对话场景中更准确地识别和分类情感。此外，EAV数据集还为跨学科研究提供了可能，例如将情感识别技术应用于心理健康评估、人机交互和智能客服等领域。