wandb/finqa-data-processed-hallucination

该数据集扩展了原始的FinQA数据集，通过添加合成的幻觉示例来评估模型的真实性。每个原始示例都配有一个修改后的版本，该版本在保持自然语言流畅性的同时引入了细微的幻觉。数据集包含16562个示例，其中训练集有13248个示例（6624个原始示例和6624个幻觉示例），测试集有3314个示例（1657个原始示例和1657个幻觉示例）。每个示例包含查询、上下文、模型输出、是否包含幻觉内容的布尔标志以及原始FinQA字段。幻觉类型分为不忠实、无根据信息和矛盾三类。数据集创建过程使用了特定的提示模板来生成幻觉示例，并保留了原始数据集的领域特定语言和语调。数据集基于Chen等人发布的FinQA数据集，并遵循其MIT许可证。

The FinQA Dataset with Hallucination Examples is an extension of the original FinQA dataset, adding synthetic hallucinated examples to evaluate model truthfulness. Each original example is paired with a modified version containing subtle hallucinations while maintaining natural language flow. The dataset contains 16,562 examples, divided into training and test sets with equal numbers of original and hallucinated examples in each. Each example includes a query, context, output, a boolean flag indicating if the output contains hallucinated content, and original FinQA fields. The hallucination types are categorized into unfaithfulness, baseless information, and contradiction. The dataset was created using a specific prompt template to generate controlled hallucinations, preserving professional tone and domain-specific language.

搜集汇总

数据集介绍

构建方式

在金融领域，数值推理任务的可靠性评估至关重要，而模型幻觉现象是影响其可信度的核心挑战。该数据集基于FinQA原始语料，通过o1-mini-2024-09-12模型生成受控的合成幻觉样本。构建流程中，每个原始问答对被输入一个精心设计的提示模板，要求模型在保持原有输出结构、专业语调和领域术语的前提下，引入三类细微错误：不忠实性（添加超出上下文的额外信息）、无依据信息（融入看似合理但未受支持的细节）以及矛盾（制造需要仔细比对才能发现的逻辑不一致）。最终，每一条原始样本都配有一个对应的幻觉版本，共计16562个样本，按比例划分为训练集和测试集。

特点

该数据集最显著的特点在于其平衡的双重结构，即每个原始金融问答对均存在一个语义流畅但暗藏错误的对照版本。所有幻觉样本均通过专业提示工程生成，使得错误具有高度的隐蔽性和领域适配性，例如数值上的微小矛盾或看似合理的行业细节插入。数据集明确标记了每条样本是否包含幻觉，并保留了FinQA原有的全部字段，如表格、文本上下文及问题标识符。这种设计使得研究者能够直接评估模型在区分真实输出与近似真实但错误输出上的能力，从而量化模型的忠实度与鲁棒性。

使用方法

使用者可通过HuggingFace Datasets库加载该数据集，并将其作为金融领域模型幻觉检测与可信度评估的标准基准。典型应用场景包括：利用'is_hallucination'标签训练二分类模型以识别输出中的错误，或将其作为评估集，对比不同大语言模型在金融数值推理任务中的真实性与可靠性。由于数据保留了原始的表格与文本上下文，研究者可结合检索增强生成或提示工程等技术，深入分析模型在长上下文与数值推理场景下的错误模式。推荐在评估时将原始样本与幻觉样本混合使用，以模拟真实世界中模型输出的不确定性。

背景与挑战

背景概述

在金融领域，数值推理任务因其对精确性和逻辑一致性的严苛要求而备受关注。2021年，Chen等人提出的FinQA数据集开创性地聚焦于金融文本与表格中的数值推理问题，为模型在复杂财务场景下的计算能力评估奠定了基石。然而，随着大语言模型在金融问答中的广泛应用，模型生成内容中隐含的幻觉现象——即与上下文不符或凭空捏造的信息——逐渐成为阻碍其可靠部署的核心瓶颈。在此背景下，Weights & Biases团队于2024年基于FinQA原始数据，利用o1-mini模型构建了包含合成幻觉样本的扩展数据集。该研究致力于系统性地评估模型在金融领域的真实性表现，通过引入不忠实、无依据及矛盾三类精心设计的幻觉类型，为相关领域提供了首个兼具专业性与可验证性的评测基准，对推动金融AI的可信度研究具有里程碑意义。

当前挑战

该数据集面临的核心挑战源于金融领域对精确性与逻辑一致性的极端依赖。首先，原始FinQA任务本身要求模型在混合文本与表格的上下文中完成多步数值推理，任何微小的计算偏差或逻辑跳跃都可能导致灾难性后果，而幻觉样本的引入进一步放大了这一难度——模型需在保持流畅自然语言输出的同时，精准识别那些看似合理实则错误的陈述。其次，构建过程中的人工合成幻觉面临语义保真度的两难：若修改过于明显，则失去评测价值；若过于隐晦，则难以确保标注一致性。此外，现有幻觉类型（如数值矛盾、领域细节杜撰）的边界模糊性使得自动检测算法极易受干扰，而金融术语的专业性更要求模型具备远超通用领域的领域知识，从而对幻觉检测的鲁棒性与泛化能力提出了严峻考验。

常用场景

经典使用场景

在金融领域自然语言处理与数值推理的交汇处，wandb/finqa-data-processed-hallucination数据集为评估模型在财务问答中的真实性与可靠性提供了独特视角。其最经典的使用场景是作为金融领域大语言模型幻觉检测的基准测试集，研究者通过对比原始样本与精心构造的幻觉样本，系统性地衡量模型在回答财务问题时是否出现信息不忠实、无根据推断或逻辑矛盾等错误，从而深入理解模型在专业领域的认知边界。

实际应用

在实际应用中，该数据集直接服务于金融科技领域的风险管控与合规审查。金融机构在部署智能问答助手时，可利用此数据集对模型进行压力测试，筛选出那些在看似合理的回答中暗藏误导性信息的模型版本。此外，它还可用于训练幻觉检测模型，帮助自动识别和过滤可能引发投资决策失误的虚假财务分析结果，从而提升自动化金融报告审核、客户服务机器人等系统的安全性与可信度，降低因模型幻觉导致的业务风险。

衍生相关工作

基于该数据集，学界与业界已衍生出多项经典工作。一方面，研究者将其用于改进检索增强生成（RAG）框架，通过对比原始与幻觉样本，优化模型对上下文事实的忠实度；另一方面，该数据集催生了针对金融领域幻觉检测的专项模型训练，例如基于对比学习的幻觉识别器。此外，它还为构建更具挑战性的跨文档数值推理任务提供了数据基础，推动了从简单问答向复杂财务论证分析的研究转向，并成为评估大语言模型在专业领域可信度的标杆资源。