EleutherAI/fever

FEVER数据集是一个用于事实提取和验证的英文数据集。它包含两个主要版本：FEVER Dataset和FEVER 2.0 Adversarial Attacks Dataset。FEVER Dataset包含185,445个通过修改维基百科句子生成的声明，并分类为Supported、Refuted或NotEnoughInfo。FEVER 2.0 Adversarial Attacks Dataset包含1174个由参与者生成的对抗性示例，旨在诱导现有系统产生分类错误。数据集的结构包括多个配置版本（v1.0、v2.0和wiki_pages），每个版本都有不同的数据字段和分割。

The FEVER dataset is an English-language dataset for fact extraction and verification. It comprises two main variants: the FEVER Dataset and the FEVER 2.0 Adversarial Attacks Dataset. The FEVER Dataset contains 185,445 claims generated by modifying Wikipedia sentences, categorized into three classes: Supported, Refuted, or NotEnoughInfo. The FEVER 2.0 Adversarial Attacks Dataset includes 1,174 adversarial examples created by participants, which are designed to induce classification errors in existing systems. The dataset has multiple configuration versions (v1.0, v2.0, and wiki_pages), each with distinct data fields and dataset splits.

原始信息汇总

数据集概述

基本信息

• 名称: FEVER
• 语言: 英语
• 许可证: CC-BY-SA-3.0, GPL-3.0
• 多语言性: 单语种
• 规模: 100K<n<1M
• 源数据: 扩展自Wikipedia
• 任务类别: 文本分类
• 标签: 知识验证

数据集结构

配置版本

• v1.0

  • 特征:
    • id: int32
    • label: string
    • claim: string
    • evidence_annotation_id: int32
    • evidence_id: int32
    • evidence_wiki_url: string
    • evidence_sentence_id: int32
  • 分割:
    • train: 263822 样本, 24147163 字节
    • dev: 28625 样本, 2696375 字节
    • paper_dev: 14475 样本, 1348943 字节
    • paper_test: 14150 样本, 1347432 字节
  • 下载大小: 44853972 字节
  • 数据集大小: 40043693 字节

• v2.0

  • 特征:
    • id: int32
    • label: string
    • claim: string
    • evidence_annotation_id: int32
    • evidence_id: int32
    • evidence_wiki_url: string
    • evidence_sentence_id: int32
  • 分割:
    • validation: 2384 样本, 306243 字节
  • 下载大小: 392466 字节
  • 数据集大小: 306243 字节

• wiki_pages

  • 特征:
    • id: string
    • text: string
    • lines: string
  • 分割:
    • wikipedia_pages: 5416537 样本, 7254115038 字节
  • 下载大小: 1713485474 字节
  • 数据集大小: 7254115038 字节

数据集创建

• 注释创建者: 众包
• 语言创建者: 已发现

许可证信息

• FEVER许可证:

  这些数据注释包含了来自维基百科的材料，根据维基百科版权政策获得许可。这些注释根据维基百科文章页面上描述的许可条款提供，或者在维基百科许可条款不可用的情况下，根据知识共享署名-相同方式共享许可（版本3.0）提供，网址为http://creativecommons.org/licenses/by-sa/3.0/（统称为“许可条款”）。您只能在遵守适用许可条款的情况下使用这些文件。

引用信息

• FEVER数据集: bibtex @inproceedings{Thorne18Fever, author = {Thorne, James and Vlachos, Andreas and Christodoulopoulos, Christos and Mittal, Arpit}, title = {{FEVER}: a Large-scale Dataset for Fact Extraction and {VERification}}, booktitle = {NAACL-HLT}, year = {2018} }

• FEVER 2.0 Adversarial Attacks数据集: bibtex @inproceedings{Thorne19FEVER2, author = {Thorne, James and Vlachos, Andreas and Cocarascu, Oana and Christodoulopoulos, Christos and Mittal, Arpit}, title = {The {FEVER2.0} Shared Task}, booktitle = {Proceedings of the Second Workshop on {Fact Extraction and VERification (FEVER)}}, year = {2018} }

搜集汇总

数据集介绍

构建方式

在知识验证领域，FEVER数据集的构建体现了严谨的学术设计。其核心方法是从英文维基百科中提取原始句子，并通过人工改写生成多样化的主张陈述。这些主张由众包标注者依据独立的维基百科页面进行验证，并划分为“支持”、“反驳”或“信息不足”三类标签。对于前两类，标注者还需精确记录作为证据的原文句子及其出处标识，从而形成了主张与结构化证据之间的精确映射。整个流程确保了数据来源的可靠性与标注过程的可追溯性。

特点

该数据集在事实核查研究领域具有鲜明的特点。其规模庞大，包含超过18万条人工标注的主张-证据对，并提供了详尽的维基百科页面快照作为证据库，实现了对主张进行端到端验证的完整任务闭环。数据主张涵盖广泛主题，且通过改写引入了语言多样性。尤为重要的是，其包含的对抗性攻击数据集版本，专门收集了旨在挑战现有模型边界的复杂案例，为评估模型的鲁棒性与泛化能力提供了宝贵资源。

使用方法

使用FEVER数据集时，研究者通常遵循标准的机器学习流程。数据集已预分为训练集、开发集和测试集，便于模型训练与评估。核心任务流程包含两个关键阶段：首先，系统需从庞大的维基百科证据库中检索出与给定主张相关的文档或句子；随后，基于检索到的证据，对主张的真实性进行分类判断。该设计推动了检索与推理相结合的混合系统发展，是评估和推进可验证知识提取与自然语言推理模型性能的基准平台。

背景与挑战

背景概述

在信息爆炸的数字时代，海量非结构化文本中蕴含的丰富知识亟待有效提取与验证。FEVER数据集由James Thorne、Andreas Vlachos等学者于2018年构建，旨在应对虚假信息泛滥的严峻挑战，推动可验证知识抽取领域的研究进程。该数据集以维基百科为知识源，通过众包方式构建了超过18万条标注声明，涵盖支持、反驳与信息不足三类标签，并关联了具体的证据句子。其核心研究问题聚焦于事实抽取与验证，即评估自然语言声明在给定文本证据下的真实性，为自然语言处理领域中的自动事实核查任务奠定了基准，显著促进了证据检索与推理模型的发展。

当前挑战

FEVER数据集致力于解决事实核查这一复杂领域问题，其核心挑战在于要求模型不仅需从大规模文档库中精准检索相关证据，还需进行深层次的语义推理以判断声明与证据间的逻辑关系，这超越了传统的文本蕴含任务。在构建过程中，数据集的创建面临多重困难：首先，通过众包方式生成和标注声明需确保高质量与一致性，避免标注者主观偏差引入噪声；其次，声明基于维基百科句子修改而成，需平衡语义改写与事实保留的复杂度，以模拟真实世界中的错误信息形态；此外，构建对抗性攻击数据集FEVER 2.0时，还需设计能有效揭示模型弱点的对抗样本，这对数据集的多样性与挑战性提出了更高要求。

常用场景

经典使用场景

在自然语言处理领域，事实核查任务旨在验证文本主张的真实性。FEVER数据集作为该领域的基准资源，其经典使用场景集中于构建端到端的事实核查系统。研究者通常利用该数据集训练模型执行证据检索与主张验证的联合任务，模型需从大规模维基百科文档中定位相关证据句，并据此判断主张属于支持、反驳或信息不足三类之一。这一流程模拟了人类进行事实核查时的推理过程，为自动化系统提供了标准化的评估框架。

解决学术问题

FEVER数据集有效应对了信息可信度评估的核心学术挑战。它通过提供大规模人工标注的主张-证据对，解决了传统文本蕴含任务中证据范围受限的问题，将研究视野扩展至开放域知识验证。该数据集促使学界深入探索文档检索与自然语言推理的融合，推动了神经检索模型、多跳推理机制以及可解释性人工智能的发展。其构建的意义在于为虚假信息检测提供了可量化的科学基准，影响了后续诸多跨模态与多语言事实核查工作的演进方向。

衍生相关工作

围绕FEVER数据集衍生了一系列经典研究工作。例如，GEAR模型引入了图神经网络进行证据聚合与推理；KGAT框架结合知识图谱增强证据的语义表征。FEVER 2.0共享任务进一步催生了针对对抗性攻击的鲁棒性模型研究，如SAFE系统通过语义对齐提升泛化能力。这些工作不仅推动了事实核查技术的迭代，也促进了检索增强生成、可验证问答等相关领域的发展，形成了以证据为基础的可靠人工智能研究脉络。