CG-MER

CG-MER数据集是一个基于卡牌游戏的多模态情感识别数据集，由法国CESI LINEACT实验室创建。该数据集包含20名参与者（9名女性，11名男性）在10次会话中生成的面部表情、语音和手势数据，总时长约10小时。数据通过卡牌游戏收集，参与者被要求表达多种情感并回答不同强度的问题。数据集涵盖了RGB视频、深度视频和音频文件，并包含自我、伙伴和外部观察者的情感注释。该数据集旨在解决情感识别中的多模态数据融合问题，适用于情感计算、人机交互和心理健康等领域的研究。The CG-MER dataset is a multi-modal emotion recognition dataset based on card games, created by the CESI LINEACT laboratory in France. The dataset includes facial expression, voice, and gesture data generated by 20 participants (9 females and 11 males) across 10 sessions, with a total duration of approximately 10 hours. The data was collected through card games, where participants were tasked with expressing a variety of emotions and answering questions of different intensities. The dataset encompasses RGB video, depth video, and audio files, and includes emotional annotations from self, partner, and external observers. The dataset aims to address the issue of multi-modal data fusion in emotion recognition and is suitable for research in areas such as affective computing, human-computer interaction, and mental health.

搜集汇总

数据集介绍

构建方式

CG-MER数据集的构建基于一种创新的情感卡牌游戏，旨在捕捉参与者在自然社交互动中的真实情感表达。数据集通过10个会话收集了20名参与者的多模态数据，包括面部表情、语音和手势。每个会话中，参与者通过回答不同强度的问题来表达情感，同时使用Kinect摄像头和音频设备记录其面部表情、身体动作和语音。数据收集过程严格遵守了法国的GDPR法规，确保参与者的隐私和数据安全。

特点

CG-MER数据集的一个显著特点是其多模态性质，涵盖了面部表情、语音和手势等多种情感表达方式。数据集中的情感标注来自三个不同的视角：参与者自身、互动伙伴和外部观察者，确保了情感标注的全面性和准确性。此外，数据集还包含了丰富的元数据，如参与者的年龄、性别以及情感标注的详细分类，为情感识别研究提供了多维度的分析基础。

使用方法

CG-MER数据集可用于开发和评估多模态情感识别模型。研究者可以通过分析数据集中的面部表情、语音和手势数据，探索不同情感表达方式之间的关联性。数据集中的情感标注可用于训练和验证情感识别算法，提升模型在真实社交场景中的表现。此外，数据集还可用于跨文化情感研究，特别是针对法语使用者的情感表达模式分析。

背景与挑战

背景概述

CG-MER数据集由CESI LINEACT实验室的Nessrine Farhat等人于近期提出，旨在为情感计算领域提供一个多模态的情感识别数据集。该数据集通过卡牌游戏的形式，捕捉参与者在自然互动中的面部表情、语音和手势等多模态数据，从而为情感识别研究提供了更为全面的视角。CG-MER的独特之处在于其数据采集方式，通过卡牌游戏激发参与者的真实情感反应，而非传统数据集中的诱导情感。该数据集包含了20名参与者（9名女性，11名男性）在10次会话中的互动数据，涵盖了7种基本情感类别。CG-MER的推出填补了法语多模态情感识别数据集的空白，并为情感计算、人机交互等领域的研究提供了新的资源。

当前挑战

CG-MER数据集在构建和应用过程中面临多重挑战。首先，情感识别领域的核心问题在于如何准确捕捉和理解人类情感的复杂性，尤其是在多模态数据融合的背景下。尽管CG-MER通过面部表情、语音和手势等多模态数据提供了更全面的情感表达信息，但如何有效融合这些模态以提升情感识别的准确性仍是一个技术难题。其次，数据集的构建过程中，确保参与者在卡牌游戏中的情感表达真实且自然，而非受到实验环境的干扰，是一个重要的挑战。此外，数据标注的复杂性也不容忽视，CG-MER采用了自我标注、伙伴标注和外部观察者标注的多重标注方式，以确保情感标注的准确性和全面性，但这也增加了数据处理的难度。最后，数据集的规模相对较小，可能限制了其在深度学习模型训练中的应用效果，未来需要进一步扩展数据集的规模和多样性。

常用场景

经典使用场景

CG-MER数据集在情感计算领域中被广泛应用于多模态情感识别研究。通过结合面部表情、语音和手势等多种模态数据，该数据集为研究者提供了一个全面的视角，用于分析和理解人类情感在不同情境下的表达方式。特别是在社交互动场景中，CG-MER数据集能够捕捉到参与者在自然对话中的真实情感反应，从而为情感识别模型的训练和验证提供了高质量的数据支持。

实际应用

CG-MER数据集在实际应用中具有广泛的潜力，特别是在人机交互、心理健康监测和教育领域。通过分析用户在自然对话中的情感表达，该数据集可以帮助开发更加智能的情感识别系统，从而提升人机交互的自然性和效率。在心理健康领域，CG-MER数据集可以用于监测患者的情绪变化，为心理治疗提供数据支持。在教育领域，该数据集可以帮助开发情感感知的教学系统，提升学生的学习体验。

衍生相关工作

CG-MER数据集的发布推动了多模态情感识别领域的多项经典工作。基于该数据集，研究者开发了多种深度学习模型，用于融合面部表情、语音和手势等多模态数据，从而提升情感识别的准确性。此外，CG-MER数据集还激发了跨文化情感识别的研究，特别是在法语语境下的情感表达分析。这些衍生工作不仅丰富了情感计算领域的研究内容，还为未来的情感识别技术发展提供了新的方向。