有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
EmoBench-M|情感智能数据集|多模态数据数据集
收藏arXiv2025-02-07 更新2025-02-11 收录
下载链接：
https://emo-gml.github.io/
下载链接
链接失效反馈资源简介：
EmoBench-M是由深圳大学计算机科学与软件工程学院等机构创建的一个新型基准数据集，旨在评估大型多模态语言模型在情感智能方面的能力。该数据集基于心理学的情感理论，包含13个评估场景，涵盖了基础情感识别、对话情感理解和复杂社会情感分析三个维度。数据集采用视频、音频和文本等多模态数据，为评估大型多模态语言模型在真实世界交互中的情感智能提供了全面的基准。
提供机构：
深圳大学计算机科学与软件工程学院
创建时间：
2025-02-07
AI搜集汇总
数据集介绍
构建方式
EmoBench-M数据集的构建基于现有的心理理论，旨在评估多模态大型语言模型（MLLMs）的情感智能（EI）能力。该数据集涵盖了13个评估场景，分为三个主要维度：基础情感识别、对话情感理解和社交复杂情感分析。数据集的构建过程包括从多个来源收集数据，如RAVDESS、CMU-MOSI、CMU-MOSEI等，并通过多阶段过滤和类平衡来确保数据质量和公平性。
特点
EmoBench-M数据集的特点包括：1. 多模态：包含视频、音频和文本等多模态数据，更真实地模拟现实世界中的交互场景；2. 多样性：涵盖了从基本情感识别到社交复杂情感分析的多个任务，具有广泛的评估范围；3. 高质量：通过人工审查和投票系统排除模糊、错误标记或有争议的样本，确保数据准确性。
使用方法
使用EmoBench-M数据集的方法如下：1. 数据准备：将数据集下载并解压，准备好用于训练和测试的文件；2. 模型训练：使用所选的多模态大型语言模型进行训练，调整模型参数以优化性能；3. 性能评估：使用数据集中的评估场景对模型进行评估，比较不同模型在不同维度上的性能差异。
背景与挑战
背景概述
在人工智能领域，将情感智能（EI）能力融入多模态大型语言模型（MLLMs）对于实现人机交互和机器人控制系统的提升至关重要。为了评估MLLMs在真实场景中的情感智能能力，He Hu等人构建了EmoBench-M数据集，这是一个基于心理学理论的情感智能评估基准。EmoBench-M旨在评估MLLMs在三个关键维度上的能力：基础情感识别、对话情感理解和复杂社交情感分析。该数据集包含了13个评估场景，覆盖了从音乐和演示到多党对话和社会对话等多种语境。通过使用视频和音频的多模态数据，EmoBench-M能够更全面地评估MLLMs的情感智能能力。
当前挑战
尽管EmoBench-M数据集为评估MLLMs的情感智能能力提供了一个全面的基准，但仍存在一些挑战。首先，MLLMs在基础情感识别方面表现较好，但在对话情感理解和复杂社交情感分析方面与人类水平仍有较大差距。其次，构建过程中所遇到的挑战包括确保数据集的高质量、公平性和平衡性。为了解决这些问题，研究人员采用了多阶段的数据过滤和类平衡校正过程。此外，由于MLLMs在复杂社交情感理解方面的局限性，未来的研究可以侧重于提升模型的上下文理解和社交意识，并改进多模态融合技术。
常用场景
经典使用场景
EmoBench-M 数据集主要用于评估多模态大型语言模型（MLLMs）的情感智能（EI）能力。该数据集提供了13个评估场景，涵盖了基础情感识别、对话情感理解和复杂社交情感分析三个关键维度。这些场景模拟了现实世界中的互动，包括音乐、演讲、多方对话和社会对话等。EmoBench-M 通过视频和音频等多模态数据，使 MLLMs 能够更全面地理解情感表达的动态和复杂性，从而更好地与人类进行情感交互。
衍生相关工作
EmoBench-M 数据集的提出和发展推动了多模态大型语言模型情感智能研究领域的进步。基于 EmoBench-M，研究人员可以评估和改进 MLLMs 在情感理解方面的能力。此外，EmoBench-M 还可以促进多模态情感分析、对话系统、社交机器人等领域的研究。未来，随着 MLLMs 在情感智能方面的不断发展和完善，EmoBench-M 将为相关研究和应用提供重要的数据支持和评估标准。
数据集最近研究
最新研究方向
EmoBench-M数据集的构建为多模态大型语言模型（MLLMs）的情感智能（EI）能力评估提供了一个全面的基准。该数据集涵盖了13个评估场景，包括基础情感识别、对话情感理解和复杂社交情感分析三个维度。研究结果表明，当前MLLMs在多模态和真实环境中的EI能力与人类相比存在显著差距。未来研究方向包括：1）改进模型的上下文理解和社交意识，例如利用高级对话建模技术、融入社交推理机制等；2）提升多模态融合能力，将心理原理直接嵌入模型设计架构；3）利用涵盖不同文化背景的多样化数据集进行模型训练。这些研究将有助于提升MLLMs在情感智能领域的应用能力，使其在现实世界中更好地理解和响应人类的情感需求。
相关研究论文
- 1EmoBench-M: Benchmarking Emotional Intelligence for Multimodal Large Language Models深圳大学计算机科学与软件工程学院 · 2025年
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
UAVDT
UAVDT数据集由中国科学院大学等机构创建，包含约80,000帧从10小时无人机拍摄视频中精选的图像，覆盖多种复杂城市环境。数据集主要关注车辆目标，每帧均标注了边界框及多达14种属性，如天气条件、飞行高度、相机视角等。该数据集旨在推动无人机视觉技术在不受限制场景下的研究，解决高密度、小目标、相机运动等挑战，适用于物体检测、单目标跟踪和多目标跟踪等基础视觉任务。
arXiv 收录
Materials Project
材料项目是一组标有不同属性的化合物。数据集链接： MP 2018.6.1（69,239 个材料） MP 2019.4.1（133,420 个材料）
OpenDataLab 收录
Tropicos
Tropicos是一个全球植物名称数据库，包含超过130万种植物的名称、分类信息、分布数据、图像和参考文献。该数据库由密苏里植物园维护，旨在为植物学家、生态学家和相关领域的研究人员提供全面的植物信息。
www.tropicos.org 收录
LFW
人脸数据集;LFW数据集共有13233张人脸图像，每张图像均给出对应的人名，共有5749人，且绝大部分人仅有一张图片。每张图片的尺寸为250X250，绝大部分为彩色图像，但也存在少许黑白人脸图片。 URL: http://vis-www.cs.umass.edu/lfw/index.html#download
AI_Studio 收录
TCIA
TCIA（The Cancer Imaging Archive）是一个公开的癌症影像数据集，包含多种癌症类型的医学影像数据，如CT、MRI、PET等。这些数据通常与临床和病理信息相结合，用于癌症研究和临床试验。
www.cancerimagingarchive.net 收录