FINDER

FINDER数据集是由LinqAlpha等机构创建的，包含5703个专家标注的查询-证据-答案三元组，专注于财务领域的检索增强生成任务。该数据集基于真实的金融查询构建，涵盖从公司年度报告（10-K）中提取的证据，并提供了准确的答案。它反映了金融专业人士在实际搜索中的模糊性和简洁性，为评估检索系统和大型语言模型在财务问答中的性能提供了一个严格的测试平台。

The FINDER dataset, created by institutions including LinqAlpha, contains 5,703 expert-annotated query-evidence-answer triples, focusing on retrieval-augmented generation (RAG) tasks in the financial domain. This dataset is built upon real-world financial queries, incorporates evidence extracted from corporate annual reports (10-K filings), and provides accurate answers. It reflects the ambiguity and conciseness inherent in the actual search behaviors of financial professionals, serving as a rigorous testbed for evaluating the performance of retrieval systems and large language models (LLMs) in financial question answering.

搜集汇总

数据集介绍

构建方式

FINDER数据集构建过程体现了金融领域信息检索的专业性与严谨性。研究团队从投资专业人士的真实查询出发，基于标准普尔500指数公司的最新10-K年报文件，通过多阶段专家标注流程构建了5,703组查询-证据-答案三元组。标注过程由投行分析师和注册会计师双重验证，采用独立证据筛选、答案生成、交叉验证的标准化流程，并运用大语言模型进行格式统一，确保数据质量。数据集经过严格过滤，剔除无法在对应年报中找到证据支持的查询，最终覆盖490家上市公司，形成具有高度行业代表性的基准测试集。

特点

该数据集最显著的特征在于其真实反映了金融专业人士的查询行为特点。查询文本普遍包含大量行业术语（43.45%的查询含3-4个专业表达，46.41%含5个以上），且具有典型的简洁性和模糊性，如频繁使用'MS'指代摩根士丹利等缩写形式。内容覆盖公司概况（18.95%）、财务报表分析（17.36%）、公司治理（12.59%）等八大金融主题，同时包含15.48%需要数值计算的量化问题，其中49.83%涉及多步组合运算。这种对专业术语密度和复杂推理要求的双重聚焦，使FINDER成为评估金融领域检索增强生成系统的理想测试平台。

使用方法

使用FINDER进行评估时，建议采用RAGAS框架构建标准化测试流程。检索阶段可对比稀疏检索（BM25）与稠密检索（E5-mistral等）模型在上下文召回率上的表现，重点关注模型处理模糊查询的能力。生成阶段应设置无上下文、检索上下文（Top-10段落）和完美上下文三种实验条件，使用Correctness和Faithfulness指标评估大语言模型的回答质量。对于高级应用，可结合检索结果重排序技术，让语言模型从初始检索结果中筛选最相关的5个段落进行答案生成，以全面考察系统在真实金融场景下的端到端表现。

背景与挑战

背景概述

FINDER（Financial Dataset for Question Answering and Evaluating Retrieval-Augmented Generation）是由LinqAlpha、UNIST、延世大学和佛罗里达大学的研究团队于2025年联合推出的金融领域问答数据集，旨在解决金融信息检索与生成中的关键问题。该数据集包含5,703个由金融专家标注的查询-证据-答案三元组，源自真实金融场景中的专业搜索行为，覆盖了公司概况、财务报表分析、治理结构等多元金融主题。相较于传统问答数据集依赖预设上下文，FINDER专注于捕捉金融查询的模糊性与专业性，如高频使用缩写、术语和简略表达，从而为检索增强生成（RAG）系统提供了更贴近实际的评估基准。其创新性在于强调从大规模语料库中动态检索信息，而非依赖静态上下文，推动了金融领域AI系统在精确性和时效性方面的研究进展。

当前挑战

FINDER面临的挑战主要体现在两大维度：领域问题挑战与构建过程挑战。在领域问题层面，金融查询的模糊性（如缩写‘MS’指代摩根士丹利）和高度专业化术语（如‘CAGR’）要求模型具备强大的语义消歧与领域知识理解能力，而现有语言模型在无上下文支持时准确率仅为9%。同时，金融数据的动态性导致检索系统需实时处理更新信息，避免因过时数据引发决策风险。在构建过程中，专家标注需平衡证据的相关性与答案的精确性，尤其涉及复合计算（占比49.83%的定量问题）时需跨段落推理。此外，原始查询的简洁性（如‘MS交易收入增长率’）要求标注者反向解析隐含的实体、指标和业务背景，这一过程耗时且易受主观判断影响。数据集还需克服HTML格式年报的结构化解析、多专家标注一致性校验等技术难题。

常用场景

经典使用场景

FINDER数据集在金融问答系统（QA）和检索增强生成（RAG）领域具有经典应用场景。该数据集通过专家标注的查询-证据-答案三元组，模拟了金融专业人士在实际搜索中的复杂查询行为，包括大量缩写、术语和模糊表达。这使得FINDER成为评估金融领域RAG系统性能的理想基准，特别是在处理需要从大规模金融文档中检索精确信息的任务时。

解决学术问题

FINDER数据集解决了金融领域信息检索和问答系统中的关键学术问题。传统数据集往往依赖预定义上下文和清晰查询，而FINDER通过引入真实世界中的模糊查询，挑战模型在检索和生成过程中的精确性。该数据集特别关注金融领域中的术语理解、上下文依赖性和数值推理，为研究如何提升模型在动态金融环境中的表现提供了重要工具。

衍生相关工作

FINDER数据集衍生了一系列重要的相关研究工作。例如，基于FINDER的检索模型（如E5-mistral）在金融文档检索任务中展现了卓越性能。此外，该数据集还推动了金融领域专用RAG框架的发展，如结合多阶段对比学习的文本嵌入方法，以及针对金融术语优化的查询扩展技术。这些工作共同推动了金融AI技术的进步。