FinTMMBench

FinTMMBench是一个综合性的金融分析数据集，由新加坡国立大学等多家机构合作构建。该数据集包含了来自纳斯达克100家公司的财务表格、新闻文章、每日股价以及视觉技术图表等多种模态的数据。数据集通过模板引导的方式自动生成问题回答对（QA对），涵盖了信息提取、趋势分析、情感分析等10种金融分析任务，能够全面评估时序感知多模态RAG系统在金融领域中的应用能力。FinTMMBench is a comprehensive financial analysis dataset co-constructed by multiple institutions including the National University of Singapore. This dataset encompasses multi-modal data from 100 NASDAQ-listed companies, such as financial statements, news articles, daily stock prices, and visual technical charts. It automatically generates question-answer (QA) pairs via template-guided methods, covering 10 financial analysis tasks including information extraction, trend analysis, and sentiment analysis. This benchmark can comprehensively evaluate the application capabilities of temporal-aware multimodal RAG systems in the financial domain.

搜集汇总

数据集介绍

构建方式

FinTMMBench数据集的构建方法具有创新性，它从NASDAQ 100公司的异构数据中收集了2022年的数据，包括财务表格、新闻文章、每日股票价格和视觉技术图表等四种模态的数据。通过模板引导生成方法，使用先进的跨模态大型语言模型（LLM）自动生成了问答（QA）对。为了确保QA对的质量，研究人员还开发了链式思考（CoT）指南，并为每个模板提供了结构化的推理步骤。此外，还进行了自动修订和人工审核，以确保数据质量。

特点

FinTMMBench数据集的特点包括：1）多模态语料库：包含财务表格、新闻文章、每日股票价格和视觉技术图表等四种模态的数据；2）时间感知问题：每个问题都需要在特定时间段（如每日、每周、每月、每季度和每年）内检索和解释相关数据；3）多样化的金融分析任务：问题涉及10个不同的任务，包括信息提取、趋势分析、情感分析和事件检测等。

使用方法

使用FinTMMBench数据集的方法包括：1）数据预处理：将非文本数据转换为文本描述，并识别不同模态中的实体和关系；2）索引：将实体和关系编码为时间感知的密集向量和异构图；3）检索：结合密集检索和图检索技术，根据查询关键词检索相关实体和关系；4）生成：使用跨模态LLM生成最终答案。

背景与挑战

背景概述

金融决策常常依赖于对来自各种数据源的深入数据分析，包括财务表格、新闻文章、股价等。在此工作中，我们介绍了FinTMMBench，这是第一个用于评估金融领域中时间感知多模态检索增强生成（RAG）系统的综合基准。FinTMMBench由纳斯达克100家公司的异构数据构建，提供了三个显著优势。1）多模态语料库：它包含财务表格、新闻文章、每日股价和技术图表的混合语料库。2）时间感知问题：每个问题都需要在特定时间段（包括每日、每周、每月、每季度和年度）检索和解释相关数据。3）多样化的金融分析任务：问题涉及10个不同的任务，包括信息提取、趋势分析、情绪分析和事件检测等。我们进一步提出了一种新颖的TMMHybridRAG方法，该方法首先利用LLM将其他模态（例如，表格、可视化和时间序列数据）的数据转换为文本格式，然后在构建图和密集索引时在每个节点中纳入时间信息。其有效性已在大量实验中得到验证，但仍存在明显的差距，突出了FinTMMBench所面临的挑战。

当前挑战

FinTMMBench相关的挑战包括：1）所解决的领域问题，即金融领域中时间感知多模态RAG系统的评估；2）构建过程中遇到的挑战，例如处理来自不同模态的异构数据、确保时间信息的准确性以及设计能够有效处理各种金融分析任务的系统。

常用场景

经典使用场景

FinTMMBench 数据集在金融领域的经典使用场景是评估基于检索增强生成的系统在处理多模态时间感知查询方面的能力。该数据集包含来自纳斯达克100家公司的大量数据，包括财务表格、新闻文章、每日股票价格和视觉技术图表。这些数据被用于生成时间感知的问题，这些问题要求模型在特定的时期内检索和解释相关数据。FinTMMBench 提供了多种不同的金融分析任务，包括信息提取、趋势分析、情绪分析和事件检测等，从而可以全面评估模型在处理多模态金融数据方面的能力。

衍生相关工作

FinTMMBench 数据集的提出催生了一系列相关的研究工作。例如，TMMHybridRAG 方法是一种新型的基于检索增强生成的系统，它结合了密集检索和图形检索技术，并针对 FinTMMBench 数据集进行了优化。此外，还有许多其他的研究工作也使用了 FinTMMBench 数据集来评估和改进金融领域的检索增强生成系统。这些研究工作包括但不限于：GraphRAG、LightRAG、BM25 和 Naive RAG。

数据集最近研究

最新研究方向

金融领域的多模态时间感知检索增强生成（RAG）系统评估基准，FinTMMBench，旨在解决金融决策中跨多种数据源进行深度数据分析的挑战。该数据集涵盖了金融表格、新闻文章、股票价格和视觉技术图表等多种数据模态，并提出了TMMHybridRAG方法，该方法利用大型语言模型（LLM）将其他模态的数据转换为文本格式，并在构建图和密集索引时融入时间信息。FinTMMBench的引入填补了现有金融RAG系统评估基准在数据模态和时间感知方面的不足，为金融分析领域提供了新的研究方向。

相关研究论文

• FinTMMBench: Benchmarking Temporal-Aware Multi-Modal RAG in Finance

  新加坡国立大学 · 2025年