REAL-MM-RAG_FinReport

REAL-MM-RAG-Bench是一个现实世界多模态检索基准，包含多个子集，专注于评估检索模型在真实和具有挑战性的场景下的表现。REAL-MM-RAG_FinReport子集包含19份财务报告，时间跨度为2005年至2023年，共计2687页，包含文本和表格，用于测试模型在表格密集型财务数据检索上的性能。

搜集汇总

数据集介绍

构建方式

该数据集的构建采用了自动化流程，首先通过视觉语言模型（VLM）生成查询，然后利用大型语言模型（LLM）进行筛选和重写，以确保查询的高质量，并模拟真实世界的检索挑战。数据集包含了多级别的查询重写，从而对模型在真正语义理解上的能力进行测试，而非仅仅是关键词匹配。

特点

REAL-MM-RAG_FinReport数据集的特点在于，它包含了从2005年至2023年的19份财务报告，总计2687页，融合了文本和表格的形式。这一数据集专注于财务数据检索，特别适合测试模型在处理表格密集型财务文档时的性能。

使用方法

使用该数据集时，用户需要安装datasets库，并通过指定数据集名称和分割方式来加载。加载后，用户可以索引查询与图像文件名之间的关系，以及图像文件名与关联查询之间的关系，从而实现基于查询的图像检索或基于图像的查询检索。

背景与挑战

背景概述

REAL-MM-RAG_FinReport数据集，源于2005至2023年间19份财务报告，总计2687页，融合了文本与表格两种形式的数据。该数据集的构建，旨在为多模态检索模型提供一个真实世界的评价基准，评估其在可靠、具挑战性和现实场景下的表现。该数据集的创建，依托于自动化的流程，其中查询由视觉语言模型(VLM)生成，经过大规模语言模型(LLM)的筛选和改写，确保了检索评价的高质量。这一研究背景不仅反映了多模态检索领域的发展需求，也体现了IBM研究团队在构建具有实际应用价值的数据集方面的努力。

当前挑战

该数据集在构建过程中所面临的挑战主要包括：如何通过多级别的查询改写，确保模型在真正的语义理解上得到测试，而不仅仅是简单的关键词匹配；如何在包含大量表格数据的财务报告中，提高模型对表格内容的理解和检索能力；以及如何模拟真实世界的检索挑战，使得模型能够在高度相似的页面中准确检索到相关信息。这些挑战对于推动多模态检索技术的发展具有重要的研究价值和实际意义。

常用场景

经典使用场景

REAL-MM-RAG_FinReport数据集在金融领域的信息检索任务中具有经典的应用价值，其通过结合文本与表格信息，为研究表格密集型金融报告的自动化检索提供了丰富的实验数据。

实际应用

在实际应用中，REAL-MM-RAG_FinReport数据集可用于优化金融信息系统的搜索算法，提高金融分析师对财务报告的检索效率，进而辅助决策过程。

衍生相关工作

该数据集的发布促进了相关领域的研究，如表格理解、多模态检索算法的改进，以及金融文档自动摘要等衍生工作的开展。