WebFC
收藏arXiv2026-04-06 更新2026-04-07 收录
下载链接:
https://github.com/ssu-humane/AMuFC
下载链接
链接失效反馈官方服务:
资源简介:
WebFC是由首尔大学团队构建的多模态事实核查数据集,包含621条2024年1月至2025年9月期间PolitiFact发布的声明及其裁决。该数据集创新性地通过谷歌定制搜索API获取网络文本和视觉证据,并严格限制证据发布时间早于事实核查文章,以模拟真实场景。数据集包含专业标注的黄金证据对,主要应用于跨模态信息验证领域,旨在解决传统方法中视觉证据滥用导致的性能下降问题,为自适应多模态推理框架提供基准测试平台。
WebFC is a multimodal fact-checking dataset constructed by a team from Seoul National University, consisting of 621 claims and their corresponding rulings released by PolitiFact between January 2024 and September 2025. This dataset innovatively acquires web text and visual evidence via Google Custom Search API, and strictly limits the publication time of the evidence to be earlier than that of the fact-checking articles to simulate real-world scenarios. The dataset includes professionally annotated golden evidence pairs, which is mainly applied in the field of cross-modal information verification, aiming to address the performance degradation caused by the abuse of visual evidence in traditional methods, and provides a benchmark platform for adaptive multimodal reasoning frameworks.
提供机构:
首尔大学·人工智能融合学院; MAUM AI公司; 首尔大学·智能半导体系
创建时间:
2026-04-06
搜集汇总
数据集介绍

构建方式
WebFC数据集的构建过程体现了对现实世界事实核查场景的精细化模拟。研究团队从PolitiFact平台收集了2024年1月至2025年9月期间发布的621条近期声明及其核查结论,确保了数据的时间新颖性。为了模拟真实的核查流程,团队利用谷歌自定义搜索API从互联网检索与每条声明相关的文本和视觉证据,并施加了关键的时间约束:仅允许检索在对应事实核查文章发布日期之前发布的来源,从而排除了使用事后信息进行核查的不现实情况。这种构建方法旨在创建一个能够评估模型在动态、开放网络环境中进行多模态事实核查能力的基准数据集。
特点
WebFC数据集的核心特征在于其高度的现实性和时序敏感性。该数据集专注于事实核查任务,所有声明均以文本形式呈现,并要求系统从外部知识源中检索多模态证据进行验证。其独特之处在于严格限制了证据检索的时间窗口,确保了评估场景与真实世界中核查员面对新声明时只能依赖历史信息的条件相一致。此外,数据集涵盖了广泛的主题,并提供了“支持”、“反驳”和“信息不足”三种标准的真实性标签,为衡量模型在自适应利用视觉证据方面的性能提供了可靠的基础。
使用方法
WebFC数据集主要用于评估多模态事实核查系统在现实场景下的性能。研究者通常将其作为测试集,用于验证模型在面对新颖声明时,能否有效检索并融合来自开放网络的文本与图像证据以做出准确判断。典型的使用流程包括:首先,将数据集中提供的文本声明作为查询,使用检索系统(如网络搜索引擎)从限定时间前的公开资源中获取相关的文本段落和图像;然后,将这些检索到的多模态证据输入到待评估的事实核查模型中,预测声明的真实性标签。该数据集特别适用于研究视觉证据的自适应使用策略,例如检验模型能否识别何时必须依赖图像、何时仅凭文本即可做出正确裁决。
背景与挑战
背景概述
WebFC数据集由Soongsil大学与MAUM AI公司的研究人员于2026年构建,旨在为多模态事实核查研究提供更贴近现实场景的评估基准。该数据集聚焦于自动化事实核查领域,核心研究问题在于探索视觉证据在验证文本声明时的必要性,挑战了以往研究中普遍认为视觉证据必然提升核查性能的假设。通过收集2024年至2025年间PolitiFact发布的621项声明及其裁决,并限制证据检索时间以模拟真实核查流程,WebFC为多模态事实核查框架的适应性设计提供了关键数据支持,推动了该领域向更精细、更实用的方向发展。
当前挑战
WebFC数据集致力于解决多模态事实核查中视觉证据必要性的判定挑战,其核心在于区分哪些声明必须依赖视觉证据才能准确验证,而哪些仅凭文本证据即可完成。这一挑战直接关系到多模态事实核查系统的准确性与效率,避免因盲目引入视觉信息而导致的性能下降。在构建过程中,研究团队面临时间一致性约束的挑战,需确保所有检索证据的发布时间早于对应事实核查文章,以维持评估场景的现实性;同时,数据集的规模有限且领域覆盖相对集中,可能影响模型在更广泛主题与跨语言场景中的泛化能力。
常用场景
经典使用场景
在自动化事实核查领域,WebFC数据集为评估多模态事实核查模型提供了高度现实的测试平台。该数据集收录了2024年至2025年间发布的621条政治类声明及其核查结论,并严格限制证据检索时间在相关核查文章发布之前,从而模拟了真实世界中基于网络证据进行时效性核查的场景。研究者通常利用WebFC验证模型在动态信息环境下的性能,特别是在处理文本与图像证据的适应性整合方面,这有助于揭示视觉证据在特定声明验证中的必要性,推动多模态事实核查技术向更精准、更高效的方向演进。
解决学术问题
WebFC数据集主要解决了多模态事实核查中视觉证据必要性的判定问题。传统研究常假设视觉证据总能提升核查准确性,但该数据集通过精心设计的时序限制和真实网络证据,揭示了盲目整合多模态证据可能降低模型性能的困境。它使研究者能够系统探索声明类型与证据模态之间的复杂关系,从而开发出像AMUFC这样的自适应框架,通过分析器与验证器的协同工作,动态评估视觉证据的价值。这不仅纠正了领域内的普遍误解,也为构建更稳健、可解释的自动化事实核查系统奠定了实证基础。
衍生相关工作
围绕WebFC数据集,已衍生出一系列重要的研究工作。其首要贡献是催生了AMUFC框架,该框架首次引入双智能体协作机制,通过分析器评估视觉证据必要性,并由验证器结合该评估进行最终裁决。此外,该数据集也促进了多模态检索增强生成技术在事实核查中的优化,例如结合CLIP与SBERT的检索策略改进,以及基于大型视觉语言模型的零样本推理方法探索。这些工作共同推动了自适应多模态事实核查领域的发展,为后续研究提供了宝贵的基准和方向启示。
以上内容由遇见数据集搜集并总结生成



