SEC-QA

SEC-QA是由Kensho Technologies开发的一个针对金融领域的系统评估数据集，旨在通过半自动生成的问题答案对（QA pairs）来模拟真实的金融场景。该数据集包含超过123,000条记录，能够持续更新使用最新的公开文档集合，确保数据的新鲜度和相关性。SEC-QA特别适用于评估模型在复杂信息检索和定量推理方面的能力，解决现有数据集在规模、上下文或实际应用相关性方面的限制。SEC-QA is a finance-oriented system evaluation dataset developed by Kensho Technologies. It aims to simulate real financial scenarios through semi-automatically generated question-answer pairs (QA pairs). This dataset contains over 123,000 records, and it can be continuously updated with the latest public document collections to ensure the freshness and relevance of the data. SEC-QA is particularly suitable for evaluating models' capabilities in complex information retrieval and quantitative reasoning, addressing the limitations of existing datasets in terms of scale, context, or practical application relevance.

搜集汇总

数据集介绍

构建方式

SEC-QA 数据集构建方式描述：SEC-QA 数据集通过一个持续的数据集生成框架构建，该框架具有两个关键特征：1）半自动生成跨多个长上下文金融文档的问题-答案 (QA) 对，更好地代表现实世界金融场景；2）能够使用最新的公共文档集合不断更新数据集，这些文档尚未被 LLMs 摄入，从而为无偏见的评估提供新颖数据或文档。该数据集的构建使用了来自市场可信来源的私营部门财务数据，确保了数据集的全面性和准确性。数据集包括 10 个指标，涉及 18 家标普 500 指数中的上市公司，时间跨度从 2010 年到 2023 年。数据集的文档包括年度报告 (Form 10-K)、季度报告 (Form 10-Q) 和未计划的事件报告 (Form 8-K)，并转换为 PDF 格式，然后解析为 JSON 格式，以便更好地利用文档结构和内容。

特点

SEC-QA 数据集的特点描述：SEC-QA 数据集的特点在于其复杂性和实用性。它包含了多种类型的问题，包括平行参考、多跳参考、结构参考和多输出问题，这些问题在现实世界的金融分析中非常常见。数据集的设计考虑了金融领域的专业术语和语言规律，以及多个实体/财务周期、多跳推理、文档结构和集合结构等复杂因素。此外，数据集可以通过使用最新的公共文档集合来动态更新，以防止训练数据泄露，从而保持其时效性和可靠性。

使用方法

SEC-QA 数据集的使用方法描述：SEC-QA 数据集可以用于评估和改进基于检索增强生成 (RAG) 的系统在处理金融领域多文档长上下文问题时的性能。数据集包含了不同难度级别的问题，可以用于测试和比较不同系统在文档检索、页面检索和问答任务上的表现。数据集的使用方法包括：1）选择适当的问题模板和难度级别；2）使用提供的文档和数据库资源进行问题生成；3）评估不同 RAG 系统的性能，包括检索准确性和问答准确性；4）根据实验结果分析系统瓶颈和改进方向。

背景与挑战

背景概述

SEC-QA数据集的创建是为了应对金融领域在自动化数据分析中遇到的一个持续挑战：缺乏能够准确反映现实世界任务的评估数据集。该数据集由Kensho Technologies的研究人员Viet Dac Lai、Michael Krumdick、Charles Lovering、Varshini Reddy、Craig Schmidt和Chris Tanner于2024年提出。SEC-QA的核心研究问题是如何创建一个能够持续更新并反映真实世界金融场景的问答数据集。该数据集对相关领域的影响力体现在它为模型评估提供了一个新的标准，特别是对于那些需要处理长篇文档和复杂推理的金融问答任务。

当前挑战

SEC-QA数据集面临的挑战主要包括：1) 领域问题挑战：现有的问答数据集通常规模有限，且缺乏对实际应用的相关性。SEC-QA旨在解决这一问题，通过半自动生成跨越多个长篇金融文档的问答对来更好地代表现实世界的金融场景。2) 构建挑战：构建过程中遇到的挑战包括如何确保数据集的持续更新，以及如何处理文档的多样性和复杂性。SEC-QA通过使用最新的公共文档集合来不断刷新数据集，以防止训练数据泄露，并提高模型的泛化能力。

常用场景

经典使用场景

SEC-QA数据集旨在为金融领域的问答系统提供一个系统性的评估框架，它通过半自动生成跨越多个长篇金融文档的问答对，更好地反映了现实世界中的金融场景。该数据集的独特之处在于其能够使用最新的公共文档集合不断刷新，以确保模型的评估不受限于训练数据。这使得SEC-QA成为评估大型语言模型在处理复杂金融文档时的理想选择。

解决学术问题

SEC-QA数据集解决了现有数据集在规模、上下文或与实际应用的关联性方面的限制。它为金融领域的问答系统提供了一个新的基准，该基准能够更准确地反映真实世界的挑战。此外，SEC-QA还解决了数据泄露的问题，因为它能够动态地生成问答对，从而防止训练数据泄露，保证了评估的公正性。

衍生相关工作

SEC-QA数据集的提出衍生了多项相关工作，包括但不限于：1）为金融领域设计实用的定量问题；2）开发基于程序思维和文档集合丰富结构的问答系统；3）探索基于检索增强生成的问答系统的瓶颈和改进策略。这些工作不仅为金融领域的问答系统提供了新的研究思路，也为其他领域的问答系统提供了参考和借鉴。