FactIR

FactIR数据集是由Factiverse公司生产日志中的证据检索数据及人工标注信息构成的，旨在为事实核查提供一个真实的零样本开放域检索基准。该数据集包含1413个声明确认-证据对的相关性标注，以及90047篇文档的语料库集合。数据集中的声明是有机生成的，由用户在涉及政治、健康、经济等多个主题的任务中产生，并通过专业的事实核查者和具有新闻背景的个人进行验证。该数据集的构建旨在填补事实核查研究中缺乏真实世界开放域检索基准的空白。The FactIR dataset is constructed from evidence retrieval data and manually annotated information sourced from the production logs of Factiverse, serving as a realistic zero-shot open-domain retrieval benchmark for fact-checking. This dataset includes 1413 relevance annotations for claim-evidence pairs, alongside a corpus of 90,047 documents. The claims within the dataset are organically generated by users across tasks covering diverse topics such as politics, health, and economics, and validated by professional fact-checkers and individuals with journalistic backgrounds. The construction of this dataset aims to fill the gap in real-world open-domain retrieval benchmarks for fact-checking research.

搜集汇总

数据集介绍

构建方式

FactIR数据集是由Factiverse生产日志衍生的，结合了证据检索数据和人工标注的相关性评估。该数据集的构建采用了基于实际使用场景的日志记录，并通过专业事实核查者和具有新闻背景的个人进行标注，以确保数据的高质量。数据集包含了1413个声明-证据对的相关性标注，以及90047个文档的语料库集合，涵盖了100个平均每个查询有13.89个文档/相关性评估的声明。

特点

FactIR数据集的特点在于其来源于真实世界的使用日志，包含了高质量的真实声明和相关性评估。它涵盖了多个主题，如政治、经济、健康等，许多声明是数量或时间性质的，且具有多个方面的组合，这使得FactIR成为一个具有挑战性的检索基准。数据集的标注质量经过了严格的评估，确保了其可靠性和实用性。

使用方法

使用FactIR数据集时，研究人员可以评估各种检索和重排模型在零样本设置下的性能。数据集提供了1413个声明-证据对的相关性标注和90047个文档的语料库集合，可用于训练和测试检索模型。研究人员可以根据数据集提供的文档和相关性评估来优化模型，并在零样本情况下评估其性能。

背景与挑战

背景概述

FactIR是一个针对事实核查的零样本开放域检索基准，由Venktesh V、Vinay Setty等研究人员于2025年提出。该数据集源于Factiverse生产日志，包含实际使用中的证据检索数据和人类标注的相关性评估。FactIR旨在填补自动化事实核查领域在开放域检索基准方面的空白，其数据集覆盖了多种主题，包括政治、经济、健康等，并针对复杂声明进行了细致的分解，使得该数据集成为一个具有挑战性的检索基准。该数据集的创建，对于推动自动化事实核查系统的发展具有重要意义。

当前挑战

FactIR数据集在构建过程中面临的挑战主要包括：1) 如何有效地检索到既支持又反驳复杂声明的证据；2) 如何处理真实世界声明中的不完整知识背景和部分相关证据；3) 如何在零样本设置下评估检索模型的泛化性能；4) 如何设计出不仅在控制环境下有效，而且在真实世界事实核查中稳健的检索系统。这些挑战对于提升事实核查系统的准确性和实用性至关重要。

常用场景

经典使用场景

FactIR数据集的经典使用场景在于自动化事实核查领域，特别是在处理零样本开放域检索任务时。该数据集通过提供实际使用日志和人类评估的高质量证据，使得研究人员能够在真实的检索环境中评估和改进检索模型，从而更好地应对复杂声明所需的间接和推理证据的检索。

衍生相关工作

基于FactIR数据集，研究者们已经开展了一系列相关工作，包括改进检索模型、开发新的评估指标以及探索更高效的零样本学习策略。这些衍生工作进一步扩展了FactIR的应用范围，推动了自动化事实核查领域的研究进展。

数据集最近研究

最新研究方向

FactIR数据集为自动化事实核查领域提供了一个实际应用场景下的零样本开放域检索基准。该数据集基于Factiverse生产日志，包含了高质量的人类标注证据相关性和立场正确性反馈。最新研究利用FactIR对现有的事实核查检索模型进行了评估，发现传统的基于相似度的检索方法在面对复杂声明时存在局限，而基于语义聚类的训练目标能够提高模型的泛化性能。此外，大型语言模型为基础的重排器显示出优越的泛化能力，为自动化事实核查系统的发展提供了新的方向。

相关研究论文

• FactIR: A Real-World Zero-shot Open-Domain Retrieval Benchmark for Fact-Checking

  荷兰代尔夫特理工大学 · 2025年