EmoBench-M

EmoBench-M是由深圳大学计算机科学与软件工程学院等机构创建的一个新型基准数据集，旨在评估大型多模态语言模型在情感智能方面的能力。该数据集基于心理学的情感理论，包含13个评估场景，涵盖了基础情感识别、对话情感理解和复杂社会情感分析三个维度。数据集采用视频、音频和文本等多模态数据，为评估大型多模态语言模型在真实世界交互中的情感智能提供了全面的基准。EmoBench-M is a novel benchmark dataset created by institutions including the School of Computer Science and Software Engineering, Shenzhen University, aiming to evaluate the emotional intelligence capabilities of large multimodal language models. Based on psychological emotion theories, it encompasses 13 evaluation scenarios covering three core dimensions: basic emotion recognition, conversational emotion understanding, and complex social emotion analysis. Leveraging multi-modal data such as video, audio and text, this dataset provides a comprehensive benchmark for assessing the emotional intelligence of large multimodal language models in real-world interactions.

搜集汇总

数据集介绍

构建方式

EmoBench-M数据集的构建基于现有的心理理论，旨在评估多模态大型语言模型（MLLMs）的情感智能（EI）能力。该数据集涵盖了13个评估场景，分为三个主要维度：基础情感识别、对话情感理解和社交复杂情感分析。数据集的构建过程包括从多个来源收集数据，如RAVDESS、CMU-MOSI、CMU-MOSEI等，并通过多阶段过滤和类平衡来确保数据质量和公平性。

特点

EmoBench-M数据集的特点包括：1. 多模态：包含视频、音频和文本等多模态数据，更真实地模拟现实世界中的交互场景；2. 多样性：涵盖了从基本情感识别到社交复杂情感分析的多个任务，具有广泛的评估范围；3. 高质量：通过人工审查和投票系统排除模糊、错误标记或有争议的样本，确保数据准确性。

使用方法

使用EmoBench-M数据集的方法如下：1. 数据准备：将数据集下载并解压，准备好用于训练和测试的文件；2. 模型训练：使用所选的多模态大型语言模型进行训练，调整模型参数以优化性能；3. 性能评估：使用数据集中的评估场景对模型进行评估，比较不同模型在不同维度上的性能差异。

背景与挑战

背景概述

在人工智能领域，将情感智能（EI）能力融入多模态大型语言模型（MLLMs）对于实现人机交互和机器人控制系统的提升至关重要。为了评估MLLMs在真实场景中的情感智能能力，He Hu等人构建了EmoBench-M数据集，这是一个基于心理学理论的情感智能评估基准。EmoBench-M旨在评估MLLMs在三个关键维度上的能力：基础情感识别、对话情感理解和复杂社交情感分析。该数据集包含了13个评估场景，覆盖了从音乐和演示到多党对话和社会对话等多种语境。通过使用视频和音频的多模态数据，EmoBench-M能够更全面地评估MLLMs的情感智能能力。

当前挑战

尽管EmoBench-M数据集为评估MLLMs的情感智能能力提供了一个全面的基准，但仍存在一些挑战。首先，MLLMs在基础情感识别方面表现较好，但在对话情感理解和复杂社交情感分析方面与人类水平仍有较大差距。其次，构建过程中所遇到的挑战包括确保数据集的高质量、公平性和平衡性。为了解决这些问题，研究人员采用了多阶段的数据过滤和类平衡校正过程。此外，由于MLLMs在复杂社交情感理解方面的局限性，未来的研究可以侧重于提升模型的上下文理解和社交意识，并改进多模态融合技术。

常用场景

经典使用场景

EmoBench-M 数据集主要用于评估多模态大型语言模型（MLLMs）的情感智能（EI）能力。该数据集提供了13个评估场景，涵盖了基础情感识别、对话情感理解和复杂社交情感分析三个关键维度。这些场景模拟了现实世界中的互动，包括音乐、演讲、多方对话和社会对话等。EmoBench-M 通过视频和音频等多模态数据，使 MLLMs 能够更全面地理解情感表达的动态和复杂性，从而更好地与人类进行情感交互。

衍生相关工作

EmoBench-M 数据集的提出和发展推动了多模态大型语言模型情感智能研究领域的进步。基于 EmoBench-M，研究人员可以评估和改进 MLLMs 在情感理解方面的能力。此外，EmoBench-M 还可以促进多模态情感分析、对话系统、社交机器人等领域的研究。未来，随着 MLLMs 在情感智能方面的不断发展和完善，EmoBench-M 将为相关研究和应用提供重要的数据支持和评估标准。

数据集最近研究

最新研究方向

EmoBench-M数据集的构建为多模态大型语言模型（MLLMs）的情感智能（EI）能力评估提供了一个全面的基准。该数据集涵盖了13个评估场景，包括基础情感识别、对话情感理解和复杂社交情感分析三个维度。研究结果表明，当前MLLMs在多模态和真实环境中的EI能力与人类相比存在显著差距。未来研究方向包括：1）改进模型的上下文理解和社交意识，例如利用高级对话建模技术、融入社交推理机制等；2）提升多模态融合能力，将心理原理直接嵌入模型设计架构；3）利用涵盖不同文化背景的多样化数据集进行模型训练。这些研究将有助于提升MLLMs在情感智能领域的应用能力，使其在现实世界中更好地理解和响应人类的情感需求。

相关研究论文

• EmoBench-M: Benchmarking Emotional Intelligence for Multimodal Large Language Models

  深圳大学计算机科学与软件工程学院 · 2025年