copenlu/fever_gold_evidence

fever_gold_evidence数据集主要用于训练分类任务的事实核查，特别是基于FEVER数据集的声明。数据集包含来自FEVER数据集的黄金证据，用于支持或反驳声明。对于不确定的声明，数据集使用了Christopher Malon在2018年提出的系统来提取证据句子。数据集的创建是为了支持论文《Generating Label Cohesive and Well-Formed Adversarial Claims》的研究。数据集的注释由机器生成和专家生成，语言由机器生成和众包生成，主要语言为英语。数据集的大小在10万到100万之间，任务类别为文本分类，具体任务为事实核查。

The fever_gold_evidence dataset is primarily designed for training fact-checking classification tasks, especially for claims based on the FEVER dataset. It contains gold evidence sourced from the FEVER dataset to support or refute the corresponding claims. For claims that cannot be definitively verified, the dataset uses the system proposed by Christopher Malon in 2018 to extract evidence sentences. This dataset was developed to support the research presented in the paper titled "Generating Label Cohesive and Well-Formed Adversarial Claims". The annotations of the dataset are generated via both automated methods and expert curation, while the textual content is produced by both automated systems and crowd-sourcing participants, with English as the primary language. The size of the dataset ranges from 100,000 to 1,000,000 instances. Its task category falls under text classification, and the specific task is fact-checking.

原始信息汇总

数据集概述

数据集基本信息

• 名称: fever_gold_evidence
• 语言: 英语 (en)
• 许可证:
  • cc-by-sa-3.0
  • gpl-3.0
• 多语言性: 单语种
• 大小: 100K<n<1M
• 源数据集: 扩展自FEVER

任务和支持

• 任务类别: 文本分类
• 任务ID: 事实检查

数据集创建

• 注释创建者:
  • 机器生成
  • 专家生成
• 语言创建者:
  • 机器生成
  • 众包

引用信息

@inproceedings{atanasova-etal-2020-generating, title = "Generating Label Cohesive and Well-Formed Adversarial Claims", author = "Atanasova, Pepa and Wright, Dustin and Augenstein, Isabelle", booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)", month = nov, year = "2020", address = "Online", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2020.emnlp-main.256", doi = "10.18653/v1/2020.emnlp-main.256", pages = "3168--3177", abstract = "Adversarial attacks reveal important vulnerabilities and flaws of trained models. One potent type of attack are universal adversarial triggers, which are individual n-grams that, when appended to instances of a class under attack, can trick a model into predicting a target class. However, for inference tasks such as fact checking, these triggers often inadvertently invert the meaning of instances they are inserted in. In addition, such attacks produce semantically nonsensical inputs, as they simply concatenate triggers to existing samples. Here, we investigate how to generate adversarial attacks against fact checking systems that preserve the ground truth meaning and are semantically valid. We extend the HotFlip attack algorithm used for universal trigger generation by jointly minimizing the target class loss of a fact checking model and the entailment class loss of an auxiliary natural language inference model. We then train a conditional language model to generate semantically valid statements, which include the found universal triggers. We find that the generated attacks maintain the directionality and semantic validity of the claim better than previous work.", }

搜集汇总

数据集介绍

构建方式

在事实核查研究领域，构建高质量数据集是推动模型性能提升的关键。本数据集基于FEVER数据集，针对支持、反驳及无足够信息三类声明，精心整合了黄金证据。对于支持与反驳类声明，直接沿用FEVER数据集中已验证的证据文本；而对于无足够信息类声明，则采用了Christopher Malon于2018年提出的Transformer网络系统，自动从相关文档中提取证据句子，确保了证据来源的可靠性与覆盖的全面性。

使用方法

在自然语言处理的应用实践中，本数据集主要服务于文本分类与事实核查任务。研究人员可借助该数据集训练分类模型，以区分声明与证据之间的支持、反驳或无关联关系。使用前需遵循CC BY-SA 3.0与GPL 3.0双重许可协议，确保合规使用。典型流程包括加载数据、预处理文本特征，并构建分类器进行训练与评估，从而推动事实核查系统的精准度与泛化能力提升。

背景与挑战

背景概述

在自然语言处理领域，事实核查任务旨在通过自动化系统验证文本声明的真实性，这对于应对信息过载和虚假信息传播具有关键意义。FEVER Gold Evidence数据集由Pepa Atanasova、Dustin Wright和Isabelle Augenstein等研究人员于2020年构建，并发表于EMNLP会议。该数据集基于FEVER基准扩展，专注于为支持、反驳及无证据三类声明提供精确的证据句子，以推动分类式事实核查模型的发展。其核心研究问题在于如何生成既保持标签一致性又语义完整的对抗性声明，从而增强模型的鲁棒性和可解释性，对自然语言推理和可信人工智能领域产生了深远影响。

当前挑战

FEVER Gold Evidence数据集所解决的领域挑战在于事实核查中的证据检索与分类复杂性，要求模型从大规模文本中精准识别支持或反驳声明的证据，并处理无证据声明的模糊边界。构建过程中的挑战包括：证据句子的高质量标注需结合机器生成与专家验证，以确保数据的准确性和一致性；针对无证据声明，需依赖外部系统提取相关句子，这可能引入噪声或偏差；此外，生成对抗性声明时需平衡触发词的有效性与语义完整性，避免破坏文本的原始含义，这对数据集的多样性和实用性提出了更高要求。

常用场景

经典使用场景

在事实核查领域，fever_gold_evidence数据集为分类模型提供了精准的训练基础。该数据集源自FEVER基准，通过整合人工标注与机器生成的证据，构建了支持、反驳及无足够信息三类标签的声明-证据对。研究者通常利用这些高质量标注数据，训练深度神经网络模型，以识别声明与证据之间的逻辑关联，从而评估声明的真实性。这一过程不仅提升了模型在复杂推理任务中的表现，也为自动化事实核查系统的开发奠定了实证基础。

解决学术问题

该数据集有效应对了自然语言处理中事实核查任务的若干核心挑战。它通过提供黄金标准证据，解决了证据检索与声明验证之间的语义鸿沟问题，使模型能够专注于分类精度的优化。在学术层面，该资源促进了对抗性攻击生成方法的研究，如通过联合优化事实核查模型与自然语言推理模型，生成既保持标签一致性又符合语义规范的对抗性声明。这些进展不仅深化了对模型脆弱性的理解，也推动了鲁棒性评估框架的完善。

实际应用

在实际应用中，fever_gold_evidence数据集为构建自动化事实核查工具提供了关键支持。新闻机构与社交媒体平台可借助基于该数据集训练的模型，快速筛查潜在虚假信息，辅助人工审核流程。教育领域则能利用其构建信息素养培训系统，帮助公众识别误导性内容。此外，在法律与政策研究场景中，该数据集有助于分析公开声明的证据基础，提升决策过程的透明度与可靠性。

数据集最近研究

最新研究方向

在事实核查领域，copenlu/fever_gold_evidence数据集作为FEVER数据集的衍生资源，聚焦于对抗性攻击与模型鲁棒性的前沿探索。该数据集通过整合黄金证据与对抗性声明生成，推动了自然语言处理中事实核查系统的稳健性研究。当前研究热点集中于利用该数据集开发能够抵御语义扭曲攻击的模型，同时确保生成内容的逻辑连贯性与事实一致性。这一方向不仅回应了虚假信息传播的社会挑战，也为构建更可靠的自动化核查工具提供了理论支撑，在人工智能安全与可信计算领域具有深远影响。