artefactory/ledger-long-context-KPI-QA

LEDGER数据集是LEDGER（长上下文文档接地提取和检索评估）基准测试的一部分，专注于长上下文KPI问答和页面检索任务。该数据集支持两个核心任务：1) 页面级KPI检索：给定一个关于财务KPI的自然语言问题及其对应的年度报告，检索相关页面；每行数据包含基于TREC风格的分级相关性判断（qrels），覆盖所有候选页面。2) 对话式长上下文提取（大海捞针任务）：给定相同的问题和完整的OCR报告文本（平均约126,000个标记），提取单个数值型KPI值。数据集每行代表一个自然语言查询，指定公司、财年和KPI（例如APA Corporation在2021财年的总收入是多少？）。mmd_text列包含完整的OCR年度报告文本（按页对齐的Markdown格式，中位数为124页），qrels提供每页的相关性等级（0=不相关，1=上下文提及，2=主要来源）。KPI真实值来源于SEC EDGAR XBRL（companyfacts）、Yahoo Finance和Alpha Vantage，通过有序标签瀑布法进行协调，确保选择归属于母公司/无限制/聚合范围的值。问题通过精心设计的模板生成，公司名称别名从DBpedia采样，KPI问题变体来自Gemini 3.1 Pro。相关性判断通过单位归一化值匹配和LLM评估（Qwen 3.6-27B）在0/1/2等级上产生。数据集包含两个配置：eval配置（10,000个查询，494份报告，111家公司，2017-2022年，用于基准评估）和no_eval配置（104,529个查询，4,505份报告，737家公司，2009-2024年，用于训练/开发）。模式包括query_id、query_text、ticker、exchange、company_name、industry、year、kpi、value、source、tag、qrels和mmd_text等列。覆盖31个KPI，涵盖损益表、资产负债表和现金流量表。报告使用DeepSeek-OCR-2进行OCR处理，转换为页面对齐的Markdown格式，页面以<--- Page Split --->分隔。值约定：货币值为原始单一单位，每股值按报告值，股数以单股计，资本支出/股息支付为正流出，现金流小计按报告符号（负值表示流出）。The LEDGER dataset is part of the LEDGER (Long-Context Document-Grounded Extraction and Retrieval Evaluation) benchmark, focusing on long-context KPI question answering and page retrieval tasks. This dataset supports two core tasks: 1) Page-level KPI retrieval: Given a natural language question about financial KPIs and its corresponding annual report, retrieve relevant pages; each row of data contains TREC-style graded relevance judgments (qrels) covering all candidate pages. 2) Conversational long-context extraction (needle-in-a-haystack task): Given the same question and complete OCR report text (averaging ~126,000 tokens), extract a single numerical KPI value. Each row of the dataset represents a natural language query specifying a company, fiscal year, and KPI (e.g., "What was the total revenue of APA Corporation in fiscal 2021?"). The `mmd_text` column contains the complete OCR annual report text in page-aligned Markdown format (median of 124 pages), while `qrels` provides the relevance grade for each page (0 = irrelevant, 1 = context mentioned, 2 = primary source). Ground truth KPI values are sourced from SEC EDGAR XBRL (companyfacts), Yahoo Finance, and Alpha Vantage, and harmonized via the ordered label waterfall method to ensure selection of values attributable to the parent company/unrestricted/aggregated scope. Queries are generated via carefully designed templates, company name aliases are sampled from DBpedia, and KPI question variants are derived from Gemini 3.1 Pro. Relevance judgments are generated at the 0/1/2 grade levels via unit-normalized value matching and LLM evaluation (Qwen 3.6-27B). The dataset includes two configurations: the eval configuration (10,000 queries, 494 reports, 111 companies, 2017–2022, for benchmark evaluation) and the no_eval configuration (104,529 queries, 4,505 reports, 737 companies, 2009–2024, for training/development). Its schema includes columns such as `query_id`, `query_text`, `ticker`, `exchange`, `company_name`, `industry`, `year`, `kpi`, `value`, `source`, `tag`, `qrels`, and `mmd_text`. It covers 31 KPIs across income statements, balance sheets, and cash flow statements. Reports are OCR-processed using DeepSeek-OCR-2 and converted to page-aligned Markdown format, with pages separated by `<--- Page Split --->`. Value conventions: Monetary values are in their original single units, per-share values follow reported values, share counts are counted as single shares, capital expenditures/dividend payments are positive outflows, and cash flow subtotals follow reported signage (negative values indicate outflows).

搜集汇总

数据集介绍

构建方式

该数据集源于LEDGER基准测试，专注于金融领域的长上下文关键绩效指标（KPI）问答与页面检索任务。构建过程始于从SEC EDGAR XBRL、Yahoo Finance和Alpha Vantage等多源数据中通过有序标签瀑布法获取标准化的真实KPI数值，确保优先选择归属于母公司、非限制性及聚合范围的数据。随后，基于预定义模板结合从DBpedia采样的公司名称别名自动生成自然语言查询，每个查询明确指向一家公司、一个财年及一个KPI指标。对于页面级相关性判断，采用单位归一化数值匹配筛选候选（查询，页面）对，并利用大型语言模型Qwen 3.6-27B按0/1/2三级评分标准进行标注。所有年报文本均通过DeepSeek-OCR-2转换为分页Markdown格式，分页符为“<--- Page Split --->”，从而支持对平均约12.6万token的长文档进行高效处理。

特点

数据集的核心特点在于其精心设计的双任务结构，同时支持页面级KPI检索与长上下文数值抽取，二者共享相同的查询与文档集合。包含104,529条训练查询和10,000条评估查询，覆盖737家公司、4,505份年报的广泛范围，时间跨度从2009年至2024年，显著超过现有金融问答数据集的规模和多样性。每个数据行不仅提供完整的OCR年报文本，还附带了TREC格式的分级相关性判断，可直接用于信息检索评估。覆盖31个来自三大财务报表的核心KPI指标，数值遵循严格且一致的表示惯例，例如货币值以原始单位记录，避免了单位换算的歧义。评估协议明确要求预测值与真实值的相对误差不超过±0.05%，为模型性能提供了客观且可复现的度量标准。

使用方法

使用方法上，研究人员可通过HuggingFace的datasets库便捷加载数据，并分别针对两个子任务进行模型评估。对于页面检索任务，需首先按分页符切分年报文本构建索引，利用查询文本进行检索后，直接使用qrels列与trec_eval或pytrec_eval工具计算召回率、MRR和nDCG等标准指标。对于长上下文抽取任务，则将完整mmd_text与查询文本拼接后输入模型，要求输出结构化答案（数值、单位及页码），并通过相对误差容限判定准确性，系统默认生成精确匹配率和召回率。该数据集已提供若干基线模型的表现指标作为参考，开发者可在相同的评估框架下测试自有模型。数据以parquet格式存储，并额外提供原始.mmd文件，便于适应不同的数据处理流程。

背景与挑战

背景概述

LEDGER（Long-context Evaluation of Documents for Grounded Extraction and Retrieval）数据集由Artefactory研究团队于2024年推出，旨在解决金融领域长文档中关键绩效指标（KPI）的问答与页面检索问题。该数据集基于SEC EDGAR XBRL、Yahoo Finance和Alpha Vantage等多源权威数据，整合了4939份企业年报的OCR文本，涵盖31种核心KPI（如收入、净利润、总资产等），并包含10,000条评估查询和104,529条训练查询。LEDGER通过细粒度的页面级相关性标注（TREC qrels）和精确的KPI数值，为长上下文信息检索与提取任务提供了标准化的基准，显著推动了金融NLP领域的发展，被誉为金融版Needle-in-a-Haystack评估框架。

当前挑战

LEDGER所针对的领域挑战包括：1）金融年报平均长度约124页（约12.6万词），超越大多数预训练模型的上下文限制，模型需在海量无关文本中精准定位KPI值，类似于针法测试；2）同一KPI在不同报告中的表述和单位存在差异，例如“revenue”可能以百万或10亿为单位，且数值精度要求误差小于5%；构建挑战则涉及：1）跨数据源（XBRL、Yahoo Finance、Alpha Vantage）的KPI值冲突，需设计有序标签瀑布规则确保一致性；2）基于模板生成多样化查询时，需借助DBpedia消歧公司别名，并通过LLM判据自动生成页面相关性评分，平衡大规模标注效率与准确性；3）OCR过程（DeepSeek-OCR-2）对表格和特殊格式的解析准确率直接影响下游任务质量。

常用场景

经典使用场景

该数据集最经典的使用场景在于对长文本环境下关键绩效指标（KPI）的精准问答与页面级检索。金融领域的年度报告往往篇幅冗长、信息密度极高，传统问答模型在面对跨页、跨段落的信息定位时表现不佳。LEDGER通过将OCR后的完整年报（平均12.6万词）与结构化查询配对，构建了一个极具挑战性的“大海捞针”任务。研究者可利用其评估模型在超长上下文中提取单一数值型KPI的能力，或借助页级别相关度标注（qrels）进行信息检索性能的基准测试。这一设置尤其适合检验大型语言模型在金融文档理解中的稳健性、忠实性及其对复杂表格和图文混合内容的解析深度。

衍生相关工作

围绕LEDGER已催生一系列代表性研究工作。一是长上下文建模技术改进，如利用页分割标记优化分段编码策略，或研发层次化注意力机制以降低长序列计算开销。二是指令微调范式在金融域的迁移，诸多团队基于no_eval配置训练出专门处理财务报表问答的指令模型，显著提升复杂KPI表达式的解析准确率。三是信息检索领域的创新，包括设计利用相关度评分进行排序学习的检索器，以及结合图表模态的视觉-语言联合检索方法。这些工作不仅丰富了长文本NLP方法论，也为金融科技奠定了坚实的数据基础设施。

数据集最近研究

最新研究方向

该数据集聚焦于金融领域的长文本理解与关键绩效指标（KPI）的精准问答与页面检索，代表了当前自然语言处理在复杂文档密集型场景下的前沿研究方向。结合近期大语言模型在“大海捞针”式长上下文推理任务中的热点，LEDGER基准通过构建包含年均12.6万令牌的OCR财报文本与细粒度相关性标注，系统评估模型从海量信息中定位并抽取数值化KPI的能力。其创新的两阶段任务设计——页面级检索与数值抽取——为金融智能分析、监管合规自动化及企业决策支持提供了标准化评测框架，尤其对推动长上下文模型在真实商业文档中的鲁棒性应用具有里程碑意义。