artefactory/ledger-long-context-multi-kpi

该数据集是LEDGER长上下文多KPI提取数据集和基准，用于金融信息提取的评估。它将OCR提取的年度报告文本（来自DeepSeek OCR）与结构化KPI真实值配对，旨在评估基于大型语言模型的金融信息提取、检索和大海捞针任务。数据集包含两个配置：no_eval（用于训练/开发，包含4,505份报告、725家公司、104,529行KPI数据，覆盖2009-2024年）和eval（用于基准评估，包含494份报告、111家公司、13,519行KPI数据，覆盖2017-2022年）。每行数据包括股票代码、交易所、公司名称、行业、年份、31个KPI列（如收入、净利润、总资产、总负债等）以及完整的OCR文本（Markdown格式，包含页面分割）。KPI值以百万为单位（按报告原值，无货币转换），NaN表示该报告/年份的KPI不可用。数据来源包括：OCR文本来自SEC EDGAR、LSE、ASX等交易所的年度报告PDF（通过DeepSeek OCR处理），KPI值来自SEC EDGAR（XBRL companyfacts）用于美国上市公��、yfinance用于非美国公司、Alpha Vantage用于补充缺失数据。This dataset is the LEDGER long-context multi-KPI extraction dataset and benchmark for financial information extraction evaluation. It pairs annual report texts extracted via OCR (from DeepSeek OCR) with structured ground-truth KPI values, aiming to evaluate large language model-based financial information extraction, retrieval and needle-in-a-haystack tasks. The dataset includes two configurations: no_eval (for training/development, containing 4,505 reports, 725 companies, 104,529 KPI rows, covering the period 2009–2024) and eval (for benchmark evaluation, containing 494 reports, 111 companies, 13,519 KPI rows, covering the period 2017–2022). Each row contains stock ticker, exchange, company name, industry, year, 31 KPI columns (such as revenue, net profit, total assets, total liabilities, etc.), and complete OCR text in Markdown format with page segmentation. KPI values are denominated in millions, retained as originally reported with no currency conversion, and NaN indicates that the KPI is unavailable for the corresponding report and year. Data sources are as follows: OCR texts are derived from annual report PDFs of exchanges including SEC EDGAR, LSE, ASX, etc., processed via DeepSeek OCR; KPI values are sourced from SEC EDGAR (XBRL companyfacts) for US-listed companies, yfinance for non-US companies, and Alpha Vantage for supplementing missing data.

搜集汇总

数据集介绍

构建方式

该数据集通过结合光学字符识别（OCR）技术和结构化关键绩效指标（KPI）真实值构建而成。具体而言，研究团队利用DeepSeek OCR将来自SEC EDGAR、伦敦证券交易所（LSE）、澳大利亚证券交易所（ASX）及其他交易所的年度报告PDF转化为Markdown格式的文本，并精确标记页面边界。同时，KPI真实值从多个权威来源获取：美国上市公司的数据源自SEC EDGAR的XBRL企业财报信息，非美国公司数据则通过yfinance接口收集，空缺部分借助Alpha Vantage进行填补。最终，这些OCR文本与31个财务KPI字段（如收入、净利润、总资产等）以Parquet格式配对存储，形成可用于基准测试的数据集。数据集划分为两个配置：'no_eval'包含4,505份报告用于开发，'eval'包含494份报告用于评估。

特点

该数据集具有显著的多维度和高实用性特点。首先，它涵盖725家公司、跨越2009至2024年的广泛时间范围，提供超过104,000条KPI记录，确保了数据多样性与规模。其次，每条数据不仅包含完整的年度报告OCR文本（以Markdown形式呈现并带有页分隔符），还精准对齐了31个关键财务指标，如应收账款、折旧摊销、每股收益等，极大便利了长上下文信息提取和'大海捞针'式检索任务的评估。此外，数据集针对金融领域设计，考虑了跨交易所（包括NYSE、NASDAQ、LSE等）和多行业分类，且所有KPI值均以百万计且未进行汇率转换，缺失值以NaN标识，保持了原始报告的财务真实性。

使用方法

数据集的使用便捷且与Hugging Face生态高度集成。用户可通过`datasets`库直接加载：使用`load_dataset('artefactory/ledger-long-context-multi-kpi', 'no_eval')`获取训练或开发集，通过`load_dataset('artefactory/ledger-long-context-multi-kpi', 'eval')`获取评估集。数据集提供Parquet格式文件，每行包含公司属性（如股票代码、交易所、行业）和财务KPI列，以及关键的`mmd_text`字段存储完整OCR文本。用户可灵活过滤数据，例如使用`ds.filter(lambda x: x['revenue'] is not None)`筛选包含收入数据的报告。此外，评估集还额外提供了页面级JPEG图像（位于`eval/images/`目录），便于多模态分析场景的应用。

背景与挑战

背景概述

在金融信息提取领域，从冗长的企业年报中精准抽取关键绩效指标（KPI）始终是一项具有挑战性的自然语言处理任务。为应对这一需求，LEDGER长上下文多KPI数据集（LEDGER Long-Context Multi-KPI）应运而生，由Artefactory团队于近年构建并发布，旨在为大规模语言模型（LLM）的金融信息提取、检索及“大海捞针”式长文本推理提供标准化评测基准。该数据集覆盖2009至2024年间来自725家公司的4,505份年报（训练集）及111家公司的494份年报（评测集），包含31项财务KPI的标注真值，横跨纽约证券交易所、伦敦证券交易所、澳大利亚证券交易所等全球主要交易所，其构建依托SEC EDGAR、yfinance及Alpha Vantage等多源数据，经DeepSeek OCR技术从PDF年报中提取全文文本，具备显著的规模与多样性优势。作为首个系统整合OCR文本与结构化KPI标注的长文本金融数据集，它有效推动了LLM在复杂文档分析场景下的能力评估与算法改进，对金融智能检索与问答领域具有里程碑式的影响。

当前挑战

该数据集面临的核心挑战包括：其一，领域问题层面的挑战——金融年报普遍包含数十页的密集表格、法律术语与文本冗余，现有模型在多KPI同步抽取时易受噪声干扰，且需要处理KPI值单位转换（如“百万美元”）、跨年度比较及非数值型标记（如NaN）的逻辑一致性；其二，构建过程中的挑战——OCR文本提取环节受制于PDF格式差异（如刻板扫描件与原生电子文档），导致排版结构（如表格跨页、图片嵌入）的语义保留困难，同时来自不同交易所的年报在会计准则、披露粒度及语言风格上差异显著，增加了跨域泛化的难度；此外，多源KPI真值融合时（如XBRL与yfinance数据冲突）需人工校验，而31个指标的稀疏标注分布（部分年份缺失特定字段）进一步考验模型对不完全信息的鲁棒性。

常用场景

经典使用场景

LEDGER Long-Context Multi-KPI数据集专为金融信息抽取与长文本问答任务而构建，其经典使用场景聚焦于从OCR处理后的年度报告中精准提取三十一项关键绩效指标。研究者可利用该数据集训练大语言模型，在包含数万至数十万字符的长文档中定位并抽取诸如收入、净利润、总资产等结构化财务数据，有效评估模型在长上下文环境下的信息检索与数值提取能力。

衍生相关工作

基于该数据集已衍生出一系列经典工作，包括长上下文问答模型FinQA的扩展版本、专门用于财务信息抽取的检索增强生成框架（如LEDGER-RAG），以及针对OCR错误鲁棒性的KPI校验算法。此外，部分研究利用该数据集构建了多页文档的段落检索基准，并探索了指令微调策略在结构化金融数据提取中的迁移效果，形成了丰富的学术生态。

数据集最近研究

最新研究方向

当前，以LEDGER长上下文多KPI数据集为核心的研究前沿，正聚焦于利用大语言模型处理海量财报OCR文本，实现关键绩效指标的精准抽取与验证。该数据集覆盖2009至2024年间超5000份公司年报，包含31项核心财务指标的真实值，为金融信息提取提供了大规模、高难度的基准。近期研究热点围绕“干草堆中寻针”式的长上下文检索任务，评估模型在噪声OCR文本中定位并提取结构化财务数据的能力。这一方向与自动化财务分析、智能合规审查等热点事件紧密关联，推动了LLM在专业金融场景下的可解释性与可靠性研究，其成果对于降低人工核查成本、提升金融数据透明度具有深远意义。