EX-FEVER

EX-FEVER是一个专为多跳可解释事实验证设计的数据集，由中国科学院自动化研究所智能感知与计算研究中心创建。该数据集包含超过60,000条涉及2跳和3跳推理的声明，每条声明均通过总结和修改来自超链接维基百科文档的信息创建。每个实例附有一个真实性标签和一个解释，概述支持真实性分类的推理路径。EX-FEVER数据集的创建旨在解决现有数据集在可解释性方面的不足，特别是在复杂的多跳场景中。该数据集的应用领域广泛，包括政治、公共卫生和科学等，旨在通过提供丰富的自然语言解释来增强事实验证系统的可信度和性能。

EX-FEVER is a dataset designed specifically for multi-hop explainable fact verification, created by the Center for Intelligent Perception and Computing, Institute of Automation, Chinese Academy of Sciences. This dataset contains over 60,000 claims involving 2-hop and 3-hop reasoning, each created by summarizing and modifying information from hyperlinked Wikipedia documents. Each instance is accompanied by a veracity label and an explanation that outlines the reasoning path supporting the veracity classification. The EX-FEVER dataset was developed to address the shortcomings of existing datasets in terms of explainability, particularly in complex multi-hop scenarios. This dataset has a wide range of application domains including politics, public health, science and more, aiming to enhance the credibility and performance of fact verification systems by providing abundant natural language explanations.

搜集汇总

数据集介绍

构建方式

在事实核查领域，多跳推理与可解释性相结合的基准数据长期匮乏。EX-FEVER数据集的构建采用了系统化的人工标注流程，其核心是从维基百科热门页面中选取种子文章，并依据超链接关系构建二跳或三跳的文档链。标注人员首先基于这些相互关联的文档撰写可被证据支持的陈述，随后通过实体替换、逻辑词替换或否定词插入等突变方法，生成相应的反驳类陈述；对于信息不足类陈述，则采用随机移除关键文档或构造与证据无关的陈述两种方式生成。每一则陈述均配有人工标注的真实性标签以及解释性文本，该文本精炼地概括了支撑或反驳该陈述所需的最小充分信息，并清晰勾勒出跨文档的推理路径。

使用方法

该数据集为开发与评估端到端的事实核查系统提供了多层次的研究平台。典型的使用方法涵盖三个核心阶段：首先，在文档检索阶段，模型需要从庞大的维基百科文档库中精准定位与陈述相关的多个证据文档，此阶段可评估检索模型在多跳场景下的召回与精确度。其次，在解释生成阶段，模型需基于检索到的文档，生成简洁、连贯的文本摘要，作为系统做出判断的解释，其质量可通过ROUGE等指标与人工标注的金标准进行对比。最后，在真实性预测阶段，模型综合陈述与生成的解释（或直接使用金标准解释），进行交互推理并输出最终的真实性分类。数据集亦支持探索大型语言模型在此任务中作为执行者或规划者的不同范式。

背景与挑战

背景概述

在信息爆炸的时代，自动事实核查技术成为对抗虚假信息的关键工具。EX-FEVER数据集由中国科学院大学等机构的研究团队于2024年提出，旨在解决多跳可解释事实核查这一核心研究问题。该数据集包含超过6万条需要2跳或3跳推理的声明，每条声明均附有真实性标签及解释性推理路径，填补了现有数据集在复杂推理与可解释性结合方面的空白。EX-FEVER的构建基于维基百科超链接文档，通过人工标注确保质量，推动了自然语言处理领域向更透明、可信的自动化系统发展。

当前挑战

EX-FEVER数据集面临的挑战主要体现在两个方面：在领域问题层面，多跳可解释事实核查要求模型不仅准确检索分散在多个文档中的证据，还需生成连贯的自然语言解释以揭示推理过程，这对模型的深度理解与生成能力提出了极高要求。在构建过程中，挑战包括确保多跳声明逻辑的严谨性、避免标注偏差，以及平衡不同真实性类别的样本分布，同时人工标注解释性文本需兼顾简洁性与完整性，增加了数据收集的复杂度与成本。

常用场景

经典使用场景

在自动事实核查领域，EX-FEVER数据集为多跳可解释性验证任务提供了核心基准。其经典应用场景在于训练和评估能够执行复杂推理链条的事实核查模型，这些模型需要从多个相互关联的维基百科文档中提取证据，并生成支持其判断的自然语言解释。研究者利用该数据集构建的系统，通常包含文档检索、解释生成和真实性判定三个关键阶段，旨在模拟人类专家进行深度事实核查时的完整认知过程。

解决学术问题

EX-FEVER数据集主要解决了事实核查研究中两个长期存在的关键问题：复杂多跳推理的建模与系统决策的可解释性。传统数据集如FEVER大多基于单跳或简单双跳证据，模型容易陷入词汇匹配的捷径学习，而EX-FEVER通过精心构建的2跳和3跳推理路径，迫使模型进行真正的逻辑关联与信息整合。同时，数据集为每个判断提供了人工标注的解释文本，为开发不仅输出结果、更能阐明推理过程的透明化AI系统奠定了基础，推动了可信人工智能在信息验证领域的发展。

实际应用

该数据集的实际应用价值体现在构建高性能、高可信度的自动化事实核查系统上。这类系统可部署于新闻媒体、社交平台内容审核、学术文献审查等场景，帮助快速识别并解释网络谣言、虚假新闻或存在争议的陈述。例如，系统可以分析一条涉及多个实体和事件的复杂声明，自动检索相关权威资料，串联证据链条，最终生成一份包含支持或反驳结论及其详细理由的报告，从而辅助人工审核，提升信息环境的治理效率与透明度。

数据集最近研究

最新研究方向

在事实核查领域，EX-FEVER数据集的推出标志着多跳可解释性研究迈入新阶段。该数据集通过融合超过60,000条涉及2至3跳推理的声明，并配备人工标注的推理路径解释，为复杂场景下的自动化事实核查系统提供了关键基准。前沿研究聚焦于利用大型语言模型（LLMs）作为规划器生成程序化指导，而非直接作为决策执行者，这一范式在提升解释生成质量与验证准确性方面展现出显著潜力。同时，研究揭示了多跳检索模型与图基推理方法在复杂语义交互中的局限性，推动学界探索更高效的证据检索与跨文档推理机制。EX-FEVER不仅弥补了现有数据集在可解释性与多跳推理方面的空白，更为构建透明、可信的智能核查系统奠定了实证基础，对应对社交媒体时代的信息失真问题具有深远意义。

相关研究论文

• EX-FEVER: A Dataset for Multi-hop Explainable Fact Verification

  中国科学院自动化研究所智能感知与计算研究中心 · 2024年