Financial Reports Numerical Extraction (FINE)

FINE数据集是一个专门为财务报告信息提取任务设计的数据集，由微软、北京大学等机构联合创建。该数据集主要包含从SEC的EDGAR系统中提取的财务关键绩效指标（KPI），旨在支持大语言模型（LLMs）在混合长文档（HLDs）中的信息提取研究。数据集中的文档平均包含约59,464个Tokens，涵盖了广泛的财务数据，适用于金融分析领域。FINE数据集的创建过程涉及从公开的财务报告中提取关键数值信息，并通过自动化框架进行处理。该数据集的应用领域主要集中在金融信息提取，旨在解决LLMs在处理混合文本和表格数据时的信息提取难题。The FINE dataset is a specialized dataset designed for financial report information extraction tasks, jointly created by institutions including Microsoft and Peking University. This dataset mainly contains financial key performance indicators (KPIs) extracted from the SEC EDGAR system, aiming to support research on information extraction by Large Language Models (LLMs) in hybrid long documents (HLDs). Documents in this dataset contain an average of approximately 59,464 Tokens, cover a wide range of financial data, and are applicable to the field of financial analysis. The creation process of the FINE dataset involves extracting key numerical information from public financial reports and processing it via automated frameworks. The application scenarios of this dataset mainly focus on financial information extraction, aiming to address the information extraction challenges faced by LLMs when processing hybrid text and tabular data.

搜集汇总

数据集介绍

构建方式

Financial Reports Numerical Extraction (FINE) 数据集的构建基于美国证券交易委员会（SEC）的EDGAR数据库，从中提取了财务报告中的关键绩效指标（KPIs）。该数据集通过自动化信息提取框架（AIE）处理混合长文档（HLDs），将文档分割为可管理的段落，并利用大语言模型（LLMs）从这些段落中提取相关信息。AIE框架包括四个模块：分割、检索、摘要和提取，确保了从复杂文档中高效提取数值信息。

特点

FINE 数据集的特点在于其专注于财务报告中的数值信息提取，涵盖了大量的混合长文档（HLDs），这些文档结合了文本和表格数据。数据集通过相对误差容忍度准确率（RETA）进行评估，能够根据不同的误差容忍度水平评估模型的性能。FINE 数据集的设计旨在支持大语言模型在复杂财务文档中的信息提取任务，提供了丰富的数值数据和上下文信息，适用于财务分析和决策支持。

使用方法

FINE 数据集的使用方法主要围绕自动化信息提取框架（AIE）展开。用户可以通过AIE框架将混合长文档分割为多个段落，利用嵌入模型检索与关键词相关的段落，并通过大语言模型生成摘要。随后，从摘要中提取目标数值信息。AIE框架支持多种提示工程技术，如数值精度增强、关键词补全和少样本学习，以提高信息提取的准确性。该数据集适用于财务分析、信息提取和决策支持等任务，能够有效提升大语言模型在复杂文档中的处理能力。

背景与挑战

背景概述

Financial Reports Numerical Extraction (FINE) 数据集由微软研究院、北京大学和中国科学院软件研究所的研究团队于2024年提出，旨在解决从混合长文档（HLDs）中提取关键财务指标（KPIs）的挑战。该数据集基于美国证券交易委员会（SEC）的EDGAR系统中的财务报告，涵盖了大量的文本和表格数据。FINE的提出填补了现有数据集在处理混合长文档信息提取方面的空白，尤其是在金融领域中的应用。通过引入自动化信息提取框架（AIE），FINE不仅推动了大型语言模型（LLMs）在混合文档处理中的研究，还为金融数据分析提供了新的工具和方法。

当前挑战

FINE数据集面临的主要挑战包括：1) 混合长文档的处理复杂性，由于文档长度远超LLMs的输入限制，如何有效分割和提取相关信息成为关键问题；2) 表格数据的序列化与理解，LLMs无法直接处理表格数据，如何将其转化为适合模型理解的格式是一大挑战；3) 信息提取的精确性，尤其是在财务数据中，数值的精确提取对模型提出了更高的要求；4) 提示工程的设计，如何通过有效的提示设计提升LLMs在混合文档中的信息提取能力。这些挑战不仅影响了模型的性能，也对数据集的构建和应用提出了更高的技术要求。

常用场景

经典使用场景

FINE数据集主要用于从混合长文档（HLDs）中提取财务关键绩效指标（KPIs），特别是在金融报告分析领域。通过结合文本和表格数据，FINE数据集为研究人员提供了一个理想的平台，用于测试和优化大语言模型（LLMs）在复杂文档中的信息提取能力。其经典使用场景包括财务报告的自动化分析、关键数据的精确提取以及跨文档的语义理解。

衍生相关工作

FINE数据集的推出催生了一系列相关研究工作，特别是在大语言模型与混合长文档处理的交叉领域。例如，基于FINE的研究进一步优化了表格序列化方法，提出了更高效的提示工程技术，并探索了LLMs在跨领域文档中的适应性。此外，FINE还启发了其他领域的数据集构建，如科学文献和医疗报告的信息提取，推动了长文档处理技术的广泛应用。

数据集最近研究

最新研究方向

在金融报告信息提取领域，FINE数据集的最新研究方向聚焦于如何利用大语言模型（LLMs）处理混合长文档（HLDs）。HLDs通常包含大量文本和表格数据，其长度远超LLMs的输入限制。为此，研究提出了自动化信息提取框架（AIE），通过分段、检索、摘要和提取四个模块，有效解决了HLDs的信息提取难题。AIE框架不仅优化了表格序列化方法，还通过提示工程增强了LLMs在数值提取中的精确性。FINE数据集的引入为金融领域的信息提取提供了新的基准，推动了LLMs在复杂文档处理中的应用。该研究不仅提升了金融报告分析的效率，还为其他领域的混合文档处理提供了重要参考。

相关研究论文

• Extract Information from Hybrid Long Documents Leveraging LLMs: A Framework and Dataset

  微软、北京大学、中国科学院软件研究所、蚂蚁集团 · 2024年