CONFACT

CONFACT是一个用于研究事实核查中冲突证据的全新数据集，包含与各种来源冲突信息配对的问答。该数据集旨在帮助系统学习和评估在处理来源可信度不一的冲突证据时的能力。数据集内容涉及3,180个问答对，其中611个问答对具有明显的冲突证据。数据集创建过程包括从现有事实核查数据集中收集问答对，通过GPT-4和人工标注的方式确定证据的立场和来源可信度。该数据集的应用领域是事实核查，旨在解决现有事实核查系统在处理冲突证据和评估来源可信度方面的挑战。

CONFACT is a novel dataset for research on conflicting evidence in fact-checking, which consists of question-answer pairs paired with conflicting information from diverse sources. This dataset is designed to help systems learn and evaluate their capabilities when handling conflicting evidence with varying source credibility. It contains a total of 3,180 question-answer pairs, among which 611 pairs have explicit conflicting evidence. The dataset was constructed by collecting question-answer pairs from existing fact-checking datasets, and determining the stance of the evidence and the credibility of sources via GPT-4 and manual annotation. Its application field is fact-checking, aiming to address the challenges faced by current fact-checking systems when dealing with conflicting evidence and evaluating source credibility.

搜集汇总

数据集介绍

构建方式

CONFACT数据集通过系统化的方法构建，旨在研究自动化事实核查中证据冲突的问题。首先，从AVERITEC和FactCheckQA两个广泛使用的事实核查数据集中筛选出具有明确事实性的声明，共计3,180条。随后，将这些声明转化为二元问题，并通过Google搜索获取前10个相关网页作为证据。为确保数据的可重现性，所有网页均通过Wayback Machine存档。数据标注分为两个阶段：首先利用GPT-4对证据的立场进行分类，并通过多数投票确定最终立场；随后由人工标注员验证冲突证据，并对来源的可信度进行评分和分类。

特点

CONFACT数据集的核心特点在于其专注于证据冲突的情境，每条数据均包含一个声明及其对应的冲突证据，且证据来源的可信度经过详细标注。数据集分为Model Conflicts (ModC)和Human Conflicts (HumC)两个子集，分别针对模型和人类在冲突证据下的表现进行评估。此外，数据集还提供了来源的可信度评分和类型分类（如主流新闻、政府、非营利组织等），为研究来源可信度在事实核查中的作用提供了丰富的信息。数据集的多样性和系统性使其成为评估检索增强生成（RAG）模型在冲突证据下表现的重要资源。

使用方法

使用CONFACT数据集时，研究人员可通过其提供的声明、冲突证据及来源可信度信息，评估和优化事实核查模型的性能。数据集支持多种任务设置，包括直接答案生成、多数投票、证据筛选和链式推理等。在模型开发中，可结合来源可信度信息，探索在检索、排序或生成阶段引入来源背景的策略。此外，数据集的ModC和HumC子集可用于分别测试模型和人类在冲突证据下的表现，从而全面评估模型的鲁棒性。数据集的使用需注意来源可信度标注的潜在偏差，并结合领域知识进行结果解释。

背景与挑战

背景概述

CONFACT数据集由新加坡科技设计大学和剑桥大学的研究团队于2025年推出，旨在解决自动化事实核查系统在处理冲突证据时面临的挑战。该数据集包含3,180个经过标注的声明，每个声明都配有来自不同可信度来源的冲突证据。作为首个系统性研究检索增强生成(RAG)模型在冲突证据场景下表现的数据集，CONFACT填补了现有事实核查数据集如AVERITEC和FactCheckQA的空白。其创新性在于不仅标注了证据立场，还包含了来源可信度评级，为研究媒体来源可信度对事实核查的影响提供了重要资源。

当前挑战

CONFACT数据集面临双重挑战：在领域问题上，它需要解决检索增强语言模型在冲突证据场景下的可靠性问题，特别是当不同可信度来源提供矛盾信息时模型的判断能力；在构建过程中，研究团队面临证据冲突识别的困难，包括需要设计两阶段标注流程（GPT-4预标注和人工验证），以及处理非专业标注者对主流媒体可信度的高估倾向。此外，数据集还需平衡证据覆盖广度与标注质量，确保冲突证据的真实代表性，同时克服自动化来源可信度评估的准确性限制。

常用场景

经典使用场景

在自动化事实核查领域，CONFACT数据集为研究检索增强生成（RAG）模型在证据冲突场景下的表现提供了标准化测试平台。该数据集通过模拟真实世界中不同可信度来源对同一主张提供矛盾证据的情境，支持研究者系统评估模型在证据可信度加权、冲突消解及最终事实判断等关键环节的性能表现。典型应用场景包括测试模型是否优先采纳BBC等权威媒体证据而过滤低可信度来源的信息，以及验证模型在证据矛盾时能否生成基于可信度分析的合理结论。

衍生相关工作

CONFACT催生了多个重要研究方向：Schlichtkrull等学者受其启发提出媒体背景检查生成框架，将源可信度分析扩展至400种语言；香港科技大学团队基于该数据集开发了CRAG模型，通过可信度感知的检索机制将冲突场景下的准确率提升15%；MIT媒体实验室则衍生出DeConFACT基准，专门评估模型在深度伪造证据与真实新闻混合场景下的表现。这些工作共同推动了可信计算与事实核查的交叉研究进展。

数据集最近研究

最新研究方向

近年来，CONFACT数据集在自动化事实核查领域引起了广泛关注，特别是在处理来自不同可信度来源的冲突证据方面。该数据集通过整合多种来源的冲突信息，为研究检索增强生成（RAG）模型在事实核查中的表现提供了重要资源。前沿研究方向包括如何有效整合媒体背景信息到RAG模型的检索和生成阶段，以提升模型在冲突证据下的表现。热点事件如大型语言模型（LLM）生成的信息泛滥，进一步凸显了CONFACT数据集在识别和过滤不可靠信息方面的重要性。该数据集不仅推动了自动化事实核查技术的发展，还为构建更可靠的AI辅助核查系统提供了关键支持。

相关研究论文

• Resolving Conflicting Evidence in Automated Fact-Checking: A Study on Retrieval-Augmented LLMs

  新加坡科技设计大学, 剑桥大学 · 2025年