LongFinanceQA

LongFinanceQA是一个针对金融领域的长文本理解任务构建的合成数据集，包含46,457个长文本问答对，这些问答对具有高质量的中间推理步骤（CoT）。数据集基于6,911份中英文双语年度财务报告构建，每份样本包括一个实际的长文本问题以及对应的增强答案和中间的推理步骤。该数据集旨在提高长文本上下文推理能力，并为长文本大型语言模型提供高质量的训练数据。LongFinanceQA is a synthetic dataset constructed for the long-text understanding task in the financial domain. It contains 46,457 high-quality long-text question-answer pairs, all equipped with complete intermediate Chain-of-Thought (CoT) reasoning steps. The dataset is built upon 6,911 Chinese-English bilingual annual financial reports. Each sample comprises a real-world long-text question, paired with the corresponding enhanced answer and intermediate reasoning steps. This dataset is designed to enhance long-text contextual reasoning capabilities and provide high-quality training data for large language models targeting long-text processing tasks.

搜集汇总

数据集介绍

构建方式

LongFinanceQA数据集的构建，首先收集了6911份双语财务年度报告，并基于这些报告构建了一个财务指标池，包含如利润、现金流、债务等关键指标。接着，根据这些财务指标，生成了46457个长文本问题，这些问题需要单源或多源证据。为了生成具有推理增强的答案，提出了属性驱动代理推理（PAI）框架，通过属性提取、检索和摘要三个步骤来模拟人类推理过程。最后，将推理步骤与结论整合，形成了具有推理增强答案的长文本QA对。

特点

LongFinanceQA数据集的特点在于其QA对中包含了中间的推理步骤，这促使LLMs进行显式的推理，从而提高了长文本理解的准确性和可解释性。此外，该数据集的构建采用了PAI框架，该框架能够模拟人类的推理过程，包括属性提取、检索和摘要，从而生成具有推理增强的答案。

使用方法

LongFinanceQA数据集的使用方法主要分为两个步骤：首先，使用PAI框架生成具有推理增强的答案；其次，使用这些答案对LLMs进行监督微调，以指导LLMs学习长文本推理能力。具体而言，可以将LLMs在LongFinanceQA上进行微调，以预测中间的推理步骤和最终的答案。通过这种方式，LLMs可以学习到有效的推理模式，从而提高长文本理解的能力。

背景与挑战

背景概述

随着大型语言模型（LLMs）的发展，它们能够处理越来越长的序列，从2K到2M个标记甚至更长。然而，简单地扩展输入序列长度并不一定能够有效地进行长上下文理解。本研究通过将监督的推理链（CoT）推理集成到LLMs中来促进有效的长上下文理解。为此，我们引入了LongFinanceQA，这是一个在金融领域设计的合成数据集，旨在提高长上下文推理能力。与现有的长上下文合成数据不同，LongFinanceQA包括在最终结论之前的中间CoT推理，这鼓励LLMs进行显式推理，从而提高长上下文理解的准确性和可解释性。为了生成合成的CoT推理，我们提出了属性驱动的代理推理（PAI），这是一个模拟人类推理步骤的代理框架，包括属性提取、检索和总结。我们通过在Loong基准上评估GPT-4o-mini w/ PAI来评估PAI的推理能力，与标准GPT-4o-mini相比，性能提高了20.0%。此外，我们还在LongFinanceQA上微调了LLaMA-3.18B-Instruct，在Loong的金融子集上实现了24.6%的提升。

当前挑战

长上下文理解是自然语言处理（NLP）中的一个不断演变的挑战。实现长上下文理解需要处理长文本信息，从而增强模型生成连贯、准确且上下文相关的响应的能力。实际的长上下文理解对许多应用程序都有潜在的影响，例如私人文档分析、大型代码库理解和多模态内容理解。尽管先进的LLMs已经显著扩展了输入序列长度，从2K到2M个标记，但简单地增加输入序列长度并不一定能够提高理解长内容的能力。此外，现有的合成长上下文数据通常将具有挑战性的问题与简短的最终答案配对进行模型训练，而忽略了长上下文与传统QA任务之间的关键差异：实际的长上下文问题通常需要在长内容中进行多步推理。没有中间推理，LLMs很难从配对复杂问题和简短答案中学习到有效的模式。本研究假设直接引导模型生成简短答案而没有中间推理步骤的长上下文建模将导致次优的训练。相反，将中间推理纳入合成数据将有助于LLMs学习有效的模式并增强训练优化。为了验证这一假设，我们引入了LongFinanceQA，这是一个使用金融数据构建的新型长上下文合成数据集。该数据集中的每个样本都包含一个实际的长上下文问题以及相应的增强答案和中间推理链（CoT）推理步骤。为了简化推理过程，我们旨在通过在LongFinanceQA上进行监督微调，将PAI的长上下文推理能力转移到大型语言模型LLaMA-3.1上。经过微调，我们得到了增强的模型LongPAI，它利用CoT推理以单步处理长上下文问题。实验结果表明，LongPAI在Loong基准上的性能显著优于其基础模型LLaMA-3.1，甚至在一些情况下超过了其教师模型PAI。这一现象强调了长上下文建模的重要性，并挑战了近期认为长上下文问题可以通过短语言模型解决的论点。

常用场景

经典使用场景

LongFinanceQA数据集主要用于提高大型语言模型（LLMs）在长文本上下文理解方面的能力。该数据集通过引入中间的思考链（CoT）推理步骤，鼓励LLMs进行明确的推理，从而在长文本上下文理解方面提高准确性和可解释性。LongFinanceQA数据集的设计旨在解决实际应用中常见的长文本上下文问题，例如文档分析、大型代码库理解和多模态内容理解等。

衍生相关工作

LongFinanceQA数据集的提出，为长文本上下文理解研究提供了新的思路和方法。该数据集的提出，促使研究者们进一步探索LLMs在长文本上下文理解方面的能力，并提出了许多相关的经典工作。例如，一些研究者通过引入中间的CoT推理步骤，提高了LLMs在长文本上下文理解方面的能力。此外，一些研究者还通过改进LLMs的架构和训练方法，提高了LLMs在长文本上下文理解方面的能力。这些相关工作都受到了LongFinanceQA数据集的启发，为长文本上下文理解研究做出了重要的贡献。

数据集最近研究

最新研究方向

随着大型语言模型（LLMs）在处理长序列方面的能力不断提升，长上下文理解成为了自然语言处理（NLP）领域的一个关键挑战。LongFinanceQA数据集的引入，旨在通过监督链式思维推理（CoT）来促进LLMs在长上下文理解方面的有效性。该数据集的设计不仅包括最终的答案，还包含了中间的CoT推理步骤，这有助于LLMs进行显式的推理，从而提高长上下文理解的准确性和可解释性。此外，为了生成合成CoT推理，研究提出了基于属性的代理推理（PAI）框架，该框架模拟了人类推理的步骤，包括属性提取、检索和总结。通过在Loong基准上评估PAI的推理能力，结果表明，与标准GPT-4o-mini相比，GPT-4o-mini w/ PAI在Loong基准上的表现提高了20.0%。此外，通过在LongFinanceQA上进行微调，LLaMA-3.18B-Instruct在Loong的金融子集上实现了24.6%的提升。这些研究成果表明，长上下文建模对于解决实际问题具有重要意义，并为LLMs在长上下文理解方面的进一步研究提供了重要的数据集和模型。

相关研究论文

• Facilitating Long Context Understanding via Supervised Chain-of-Thought Reasoning

  美国罗切斯特大学 · 2025年