MME-Finance

MME-Finance是一个双语多模态金融基准，包含1,171个英文和1,103个中文开放式问题，涵盖多种金融图像类型和各种多模态能力。

MME-Finance is a bilingual multimodal finance benchmark that includes 1,171 English and 1,103 Chinese open-ended questions, covering various financial image types and a wide range of multimodal capabilities.

原始信息汇总

MME-Finance: 多模态金融基准数据集

概述

• 名称: MME-Finance
• 类型: 多模态金融基准数据集
• 语言: 中英双语
• 问题数量: 1,171个英文问题和1,103个中文问题
• 领域: 金融
• 特点:
  • 涵盖多种金融图像类型和多模态能力
  • 提出了一种详细的评估策略，考虑图像因素，与人类评估高度一致

数据集亮点

• 双语多模态金融基准: 首个双语多模态金融基准，涵盖多种金融图像类型和多模态能力。
• 评估策略: 提出了一种详细的评估策略，考虑图像因素，与人类评估高度一致。
• 有价值的见解: 基于MME-Finance对19个多模态大语言模型进行了广泛评估，揭示了当前模型在金融应用中的优缺点。

使用方法

• 数据下载: 需下载MMfin.tsv和MMfin_CN.tsv文件以及相关金融图像。

• 文件结构:

  ├─ datasets ├─ images ├─ MMfin ... ├─ MMfin_CN ... │ MMfin.tsv │ MMfin_CN.tsv

• 推理与评估:

  export LMUData="The path of the datasets" python run.py --data MMfin --model Qwen2-VL-2B-Instruct --verbose python run.py --data MMfin_CN --model Qwen2-VL-2B-Instruct --verbose

数据集状态

• 当前发布: 已发布110个中英双语样本。
• 未来计划: 预计一个月内发布所有数据。

性能表现

• Qwen2-VL-72B在MMfin上的表现:

  "Category","tot","acc" "Accurate Numerical Calculation","10","100.0" "Entity Recognition","10","68.0" "Explain Reason","10","82.0" "Financial Knowledge","10","80.0" "Image Caption","10","78.0" "Investment Advice","10","64.0" "Not Applicable","10","90.0" "Numerical Calculation","10","48.0" "OCR","10","66.0" "Risk Warning","10","88.0" "Spatial Awareness","10","52.0" "Overall","110","74.18181818181819"

• Qwen2-VL-72B在MMfin_CN上的表现:

  "Category","tot","acc" "Accurate Numerical Calculation","10","80.0" "Entity Recognition","10","66.0" "Explain Reason","10","78.0" "Financial Knowledge","10","86.0" "Image Caption","10","100.0" "Investment Advice","10","76.0" "Not Applicable","10","46.0" "Numerical Calculation","10","60.0" "OCR","10","82.0" "Risk Warning","10","84.0" "Spatial Awareness","10","58.0" "Overall","110","74.18181818181819"

引用

@article{gan2024woodpecker, title={MME-Finance: A Multimodal Finance Benchmark for Expert-level Understanding and Reasoning}, author={Gan, Ziliang and Lu, Yu and Zang, Dong and Li, Haohan and Liu, Che and Liu, Jian and Liu, Ji and Wu, Haipang and Fu, Chaoyou and Xu, Zenglin and Zhang, Rongjunchen and Dai, Yong}, journal={arXiv preprint arXiv:2411.03314}, year={2024} }

许可证

• 代码许可证: Apache 2.0
• 数据许可证: CC BY NC 4.0
• 使用限制: 数据和代码仅用于研究目的。

搜集汇总

数据集介绍

构建方式

在金融领域，传统的多模态基准往往难以捕捉其特有的图像类型和专业知识。为此，MME-Finance数据集应运而生，它是一个双语开放式且面向实际应用的视觉问答（VQA）基准。该数据集包含了1,171个英文和1,103个中文开放式问题，涵盖了多种金融图像类型和多模态能力。其构建过程不仅考虑了图像的复杂性，还结合了详尽的评估策略，确保与人类判断的高度一致性。

特点

MME-Finance数据集的显著特点在于其双语性和多模态性。首先，它支持中英文双语，能够有效评估模型在不同语言环境下的表现。其次，数据集涵盖了多种金融图像类型，如蜡烛图和技术指标图，以及丰富的金融专业知识，如期货和换手率。此外，其评估策略综合考虑了图像和文本的复杂性，为多模态大语言模型（MLLMs）在金融领域的应用提供了宝贵的参考。

使用方法

使用MME-Finance数据集时，用户首先需下载`MMfin.tsv`和`MMfin_CN.tsv`文件以及相关的金融图像。数据集的文件结构应遵循指定的目录格式。随后，用户可通过VLMEvalKit框架进行环境配置和API使用。具体的使用流程包括设置数据路径、运行推理和评估脚本。例如，使用Qwen2-VL-2B-Instruct模型进行推理和评估时，用户需执行相应的Python脚本，并指定数据集和模型参数。

背景与挑战

背景概述

近年来，多模态基准在通用领域的发展极大地推动了多模态模型在一般任务中的快速进步。然而，金融领域因其独特的图形图像（如蜡烛图、技术指标图）和丰富的专业金融知识（如期货、换手率）而具有特殊性。通用领域的基准往往无法准确衡量多模态模型在金融领域的表现，从而无法有效指导大型金融模型的快速发展。为促进大型金融多模态模型的发展，我们提出了MME-Finance，这是一个双语开放式且面向实际应用的视觉问答（VQA）基准。MME-Finance由Ziliang Gan、Yu Lu等研究人员于2024年11月5日发布，旨在通过涵盖多样化的金融图像类型和多模态能力，推动金融领域的多模态模型研究。

当前挑战

MME-Finance数据集在构建过程中面临多项挑战。首先，金融领域的特殊性要求数据集必须包含独特的图形图像和专业金融知识，这增加了数据收集和标注的复杂性。其次，双语开放式问答的设计需要确保问题和答案在两种语言中的准确性和一致性，这对多语言处理技术提出了高要求。此外，评估策略的制定需考虑图像因素，并确保与人类判断的高一致性，这需要精细的算法设计和大量的验证工作。最后，数据集的发布和维护需遵守严格的许可协议，确保研究使用的合规性。

常用场景

经典使用场景

MME-Finance数据集的经典使用场景主要集中在金融领域的多模态视觉问答（VQA）任务中。该数据集通过提供涵盖多种金融图像类型和多模态能力的开放式问题，支持模型在处理金融图像时的理解和推理能力。例如，模型可以通过分析蜡烛图、技术指标图等金融图像，回答与市场趋势、投资建议等相关的问题，从而在金融分析和决策支持系统中发挥重要作用。

实际应用

在实际应用中，MME-Finance数据集可用于开发和优化金融领域的智能分析工具。例如，金融机构可以利用该数据集训练模型，以自动分析市场图表、提供投资建议或风险预警。此外，该数据集还可用于构建金融教育平台，帮助用户通过互动问答学习金融知识，提升金融素养。

衍生相关工作

MME-Finance数据集的发布催生了一系列相关研究工作。例如，基于该数据集的评估策略，研究者们开发了新的多模态学习算法，以提升模型在金融图像理解和推理方面的性能。此外，该数据集还激发了对多模态模型在金融领域应用的深入探讨，推动了金融科技领域的创新和发展。