QuanTemp

QuanTemp是由代尔夫特理工大学等机构创建的一个大型、多领域的真实世界数据集，专注于验证数值声明。该数据集包含15,514个涉及比较、统计、区间和时间方面的数值声明，以及详细的元数据和伴随的证据收集。数据集的创建过程涉及从多个事实检查组织收集真实声明，并通过严格的筛选和证据收集确保数据质量。QuanTemp主要用于自动化事实检查系统的发展，特别是在处理复杂和信息不精确的数值声明方面，旨在提高事实检查的准确性和效率。

QuanTemp is a large-scale, multi-domain real-world dataset dedicated to numerical claim verification, developed by Delft University of Technology and other institutions. This dataset includes 15,514 numerical claims covering comparison, statistical, interval, and temporal dimensions, along with detailed metadata and accompanying evidence collections. The dataset construction process involved collecting authentic claims from multiple fact-checking organizations, and ensuring data quality through rigorous filtering and evidence gathering protocols. QuanTemp is primarily intended for the development of automated fact-checking systems, particularly for addressing complex and informationally imprecise numerical claims, with the objective of improving the accuracy and efficiency of fact-checking practices.

搜集汇总

数据集介绍

构建方式

QuanTemp数据集的构建始于从全球45个事实核查组织收集的139,926条英文核查记录中，通过定量片段识别算法筛选出包含数字、单位及近似词或趋势指示词的声明。随后，利用基于大语言模型的声明分解技术（如ClaimDecomp与Program-FC）生成子问题，并联合原始声明作为查询，通过搜索引擎获取证据片段，同时严格过滤来自事实核查网站的结果以避免证据泄露。最终，经过去重与标准化标签映射，构建了包含15,514条声明、423,320个证据片段的多样化语料库，覆盖统计、时间、区间与比较四类数值声明。

特点

该数据集的核心特色在于其真实世界的多领域覆盖与数值声明的专门聚焦。声明来源横跨北美、欧洲、亚洲与非洲，涉及政治、经济、健康等议题，且57.93%为虚假声明，反映了事实核查的现实分布。证据集合不仅包含Wikipedia、政府网站等权威来源，还通过声明分解技术增强了多样性，避免了仅依赖原始声明检索的偏差。此外，数据集提供了细粒度的元数据与四类数值声明分类（统计、时间、区间、比较），为分析模型在不同推理维度上的表现提供了基准。

使用方法

QuanTemp适用于评估事实核查流水线中的证据检索与自然语言推理阶段。使用者可基于统一的证据语料库，采用BM25结合重排序模型检索top-k证据片段，再将其与声明拼接后输入NLI模型进行三分类（支持、反驳、冲突）预测。数据集支持多种基线方法，包括直接使用原始声明、基于声明分解的子问题聚合证据，以及集成数值理解预训练模型（如FinQA-Roberta-Large）进行微调。实验结果建议优先采用ClaimDecomp分解与数值增强的NLI模型，以在冲突类声明上获得更优性能。

背景与挑战

背景概述

在信息时代，网络虚假信息的泛滥对社会民主与公共信任构成了严峻威胁，尤其是涉及数字与时间表达的声明，因其表面上的精确性更易误导公众。为应对这一挑战，代尔夫特理工大学、L3S研究中心与斯塔万格大学的研究人员于2024年共同创建了QuanTemp数据集。该数据集聚焦于真实世界中的数值型声明验证，涵盖统计、比较、区间与时间四大类别，包含15,514条从45个事实核查机构收集的声明及423,320条网页证据片段。QuanTemp是首个大规模、多领域的真实数值声明验证基准，填补了现有数据集主要依赖合成声明或忽视数值推理的空白，为自动化事实核查领域提供了关键的研究资源。

当前挑战

QuanTemp的核心挑战在于真实世界数值声明的复杂性与多样性。首先，数值声明常隐含多重推理需求，如比较、区间判断或统计计算，现有自然语言推理模型在宏观F1得分上仅达58.32%，远低于理想水平。其次，证据检索面临信息不全或偏差问题，单纯依赖原始声明作为查询易遗漏关键背景信息，而使用声明分解方法虽能提升效果，但仍存在分解过度或不足的缺陷。此外，数据集本身存在类别不平衡（虚假声明占57.93%），且“冲突”类声明因部分正确而难以判定。构建过程中，从45个事实核查网站统一标签标准、避免证据泄露（如排除事实核查网站结果）以及确保跨领域证据的多样性，均增加了数据集的构建难度。

常用场景

经典使用场景

在虚假信息泛滥的互联网时代，数值型主张因其表面上的精确性而更易误导公众，QuanTemp数据集应运而生，专注于真实世界开放领域数值主张的核查。其最经典的使用场景是作为自动化事实核查系统的评估基准，研究者可基于该数据集训练和测试模型在统计、比较、区间及时间四类数值主张上的验证能力，通过整合原始主张与分解问题检索证据，并利用自然语言推理模型判定主张的“支持”、“反驳”或“冲突”状态，从而系统性地评估模型对数值信息的理解与推理水平。

衍生相关工作

QuanTemp数据集衍生了一系列经典工作，包括对主张分解方法（如ClaimDecomp与ProgramFC）在数值主张验证中的系统比较，以及针对数值理解增强的NLI模型（如NumT5与FinQA-Roberta-Large）的微调与评估。研究者进一步基于该数据集开展了细粒度错误分析，将数值主张划分为统计、时间、区间和比较四类，揭示了不同类别下模型的性能差异，并推动了多跳推理与程序引导验证方法的发展。这些工作共同构成了数值事实核查领域的研究脉络，为后续探索数值推理与证据检索的深度融合提供了重要参考。

数据集最近研究

最新研究方向

在虚假信息泛滥的网络时代，数值型声明因其天然具备的“数字真实效应”而更具迷惑性，成为事实核查领域亟待攻克的难点。QuanTemp作为首个大规模、多领域的真实世界数值声明基准数据集，聚焦于统计、比较、区间及时序等复杂数值推理场景，填补了现有合成数据集与现实需求之间的鸿沟。该数据集不仅揭示了当前主流NLI模型在数值理解上的显著短板，还验证了声明分解策略与数值预训练模型（如FinQA-Roberta-Large）在提升核查精度上的关键作用。这一工作推动了事实核查从文本语义匹配向精细化数值推理的范式转变，为应对政治辩论、公共健康等高风险场景中的量化虚假信息提供了坚实的数据基础与评估平台。

相关研究论文

• QuanTemp: A real-world open-domain benchmark for fact-checking numerical claims

  代尔夫特理工大学 · 2024年