MMAFFBen

MMAFFBen是一个多语言和多模态情感分析基准数据集，旨在评估大型语言模型（LLMs）和视觉语言模型（VLMs）的情感分析能力。该数据集涵盖了35种语言的文本、图像和视频模态，并支持对四种情感分析任务的评估：情感强度、情感分类、情感极性和情感强度。MMAFFBen通过整合现有开源数据集，经过精心筛选和重构，为情感分析任务提供了全面的评估框架。该数据集的创建旨在解决当前情感分析评估基准的局限性，如覆盖范围有限、模态单一或语言单一等问题，以促进情感分析研究和应用的发展。MMAFFBen is a multilingual and multimodal sentiment analysis benchmark dataset developed to evaluate the sentiment analysis capabilities of Large Language Models (LLMs) and Vision-Language Models (VLMs). This dataset covers text, image, and video modalities across 35 languages, and supports evaluation of four sentiment analysis tasks: emotion intensity, sentiment classification, sentiment polarity, and emotion intensity. MMAFFBen provides a comprehensive evaluation framework for sentiment analysis tasks by integrating existing open-source datasets and undergoing rigorous screening and restructuring. The creation of this dataset aims to address the limitations of current sentiment analysis evaluation benchmarks, such as limited coverage, single-modality or single-language constraints, so as to facilitate the advancement of sentiment analysis research and applications.

原始信息汇总

MMAFFBen 数据集概述

数据集简介

• 名称：MMAFFBen (Multilingual and Multimodal Affective Analysis Benchmark)
• 类型：多语言多模态情感分析基准数据集
• 目的：用于评估大型语言模型(LLMs)和视觉语言模型(VLMs)的性能
• 特点：开源、多语言、多模态

数据集组成

• 主数据集：MMAFFBen
• 训练数据集：MMAFFIn

相关模型

• 3B参数模型：MMAFFLM-3b
• 7B参数模型：MMAFFLM-7b

使用说明

模型微调

1. 下载MMAFFIn训练数据集至data文件夹
2. 运行命令： bash bash run_sft_stream.sh

模型评估

1. 下载MMAFFBen数据至data文件夹

2. 运行命令： bash bash run_inference.sh

3. 预测结果将保存在predicts文件夹

4. 使用evaluation.ipynb计算各子数据集得分

技术基础

• 基于LLaMA-Factory框架
• 当前版本支持Qwen-VL系列模型

搜集汇总

数据集介绍

构建方式

MMAFFBen数据集通过整合来自35种语言的文本、图像和视频数据构建而成，涵盖了情感极性、情感强度、情感分类和情感强度预测四个核心情感分析任务。数据来源于多个公开数据集，如SemEval2018、EWECT、XED等，并通过专家团队在计算机科学和语言学领域的协作进行精心筛选和标准化处理。数据集构建过程中，针对不同模态和任务设计了统一的指令模板，确保数据适用于零样本评估场景。

使用方法

MMAFFBen数据集适用于评估大型语言模型（LLMs）和视觉语言模型（VLMs）在情感分析任务中的表现。用户可以通过零样本评估方式，使用统一的指令模板对模型进行测试。数据集支持多种评估指标，如Pearson相关系数（PCC）和宏F1分数（ma-F1），适用于情感强度、情感分类等不同任务。此外，数据集还可用于模型微调和跨模态情感分析研究，为情感计算领域的进展提供有力支持。

背景与挑战

背景概述

MMAFFBen是由曼彻斯特大学、The Fin AI Singapore和武汉大学的研究团队于2025年提出的多语言多模态情感分析基准数据集。该数据集旨在填补大型语言模型（LLMs）和视觉语言模型（VLMs）在情感分析领域评估的空白，涵盖了文本、图像和视频三种模态，支持35种语言的情感极性、情感强度、情感分类和情感强度预测四项核心任务。MMAFFBen的构建基于多个开源数据集，通过精心设计的提示模板将其转化为适合零样本评估的指令-响应对，为全面评估LLMs和VLMs在复杂情感场景下的能力提供了系统化框架。

当前挑战

MMAFFBen面临的挑战主要体现在两个方面：领域问题层面，情感分析任务本身具有高度主观性和文化依赖性，尤其是多语言场景下情感表达的差异性增加了模型统一评估的难度；构建技术层面，多模态数据（特别是视频）的标注需要协调视觉、语音和文本信号的复杂交互，且35种语言的语料平衡与质量把控对数据清洗和标准化提出极高要求。此外，将异构原始数据集转化为统一的指令微调格式时，需克服不同标注体系（如Ekman与Plutchik情绪分类法）间的语义对齐问题，这对保持评估指标的跨数据集可比性构成显著挑战。

常用场景

经典使用场景

MMAFFBen作为首个多语言多模态情感分析基准，广泛应用于评估大型语言模型（LLMs）和视觉语言模型（VLMs）在情感极性、情感强度、情绪分类及情绪强度四项核心任务上的表现。其覆盖35种语言的文本、图像和视频数据，为跨模态情感理解研究提供了标准化测试环境，尤其在社交媒体多语言内容分析、人机交互情感识别等场景中成为关键工具。

解决学术问题

该数据集解决了现有基准在模态单一性（如仅文本或视频）和语言局限性（如英语为主）上的缺陷，填补了多模态情感分析综合评估的空白。通过统一量化情感强度（-1至1）和标准化离散情感标签（如Ekman六类），其支持细粒度情感维度分析，为模型在复杂跨文化语境中的泛化能力研究提供了数据基础。

实际应用

MMAFFBen的实际应用涵盖智能客服情绪响应优化、社交媒体舆情监控及心理健康辅助诊断。例如，其视频模态数据可用于分析视频会议中的非语言情感信号，而多语言文本支持跨境电商评论的情感挖掘。基于该数据集训练的MMAFFLM系列模型已应用于多语言内容审核系统，显著提升了对东亚语言情感表达的识别准确率。

数据集最近研究

最新研究方向

随着多模态大语言模型（LLMs）和视觉语言模型（VLMs）的快速发展，情感分析领域迎来了新的研究机遇与挑战。MMAFFBen作为首个多语言多模态情感分析基准测试集，涵盖了文本、图像和视频三种模态，支持35种语言，为评估模型在情感极性、情感强度、情绪分类和情绪强度四项任务上的表现提供了全面框架。当前研究热点聚焦于多模态情感理解的统一建模、跨语言情感迁移学习，以及细粒度情感强度的量化预测。特别是在社交媒体内容爆炸式增长的背景下，如何提升模型对混合模态情感信号的协同理解能力成为前沿方向。该数据集的发布推动了情感计算领域的透明化、可复现性研究，并为构建更具包容性的多语言情感智能系统奠定了基础。

相关研究论文

• MMAFFBen: A Multilingual and Multimodal Affective Analysis Benchmark for Evaluating LLMs and VLMs

  The University of Manchester United Kingdom · 2025年