AVERIMATEC

AVERIMATEC是一个包含1297个真实世界图文声明的数据集。每个声明都标注了包含网络证据的问答对，反映了关于裁决的分解推理。我们通过声明规范化、时间约束的证据标注和两阶段的充足性检查来减轻事实核查数据集中常见的挑战，如上下文依赖、时间泄露和证据不足。我们通过注释员研究评估了AVERIMATEC中注释的一致性，在裁决上达到κ=0.742，在问答对上达到74.7%的一致性。我们还提出了一个新的证据检索评估方法，并进行了广泛的实验，以建立使用开放网络证据验证图文声明的基线。

AVERIMATEC is a dataset comprising 1,297 real-world multimodal claims. Each claim is annotated with question-answer pairs containing web-based evidence, which reflect decomposed reasoning regarding the verdict. We mitigate common challenges prevalent in fact-checking datasets, such as context dependency, temporal leakage, and insufficient evidence, through claim normalization, time-constrained evidence annotation, and a two-stage adequacy check. We evaluated the annotation consistency of AVERIMATEC via annotator studies, achieving a κ score of 0.742 for verdicts and 74.7% agreement for question-answer pairs. We additionally propose a novel evidence retrieval evaluation metric, and conduct extensive experiments to establish baselines for verifying multimodal claims using open web evidence.

搜集汇总

数据集介绍

构建方式

AVERIMATEC数据集的构建采用了多阶段标注流程，以确保数据的高质量和一致性。首先，标注人员从事实核查文章中提取并规范化图像-文本声明，确保每个声明独立可理解且附带必要上下文。随后，标注人员将事实核查的逻辑分解为一系列问答对，每个问答对均基于网络证据，并严格限制证据发布时间早于声明日期。最后，通过两轮证据充分性检查，确保每个标注的声明都有足够的证据支持其标注结论。整个流程由不同标注人员独立完成，以避免偏差，最终形成了包含1,297个真实世界图像-文本声明的数据集。

特点

AVERIMATEC数据集的特点在于其真实性和多模态性。数据集中的声明均来自真实世界，避免了合成数据的局限性。每个声明不仅包含文本和图像，还标注了问答对，这些问答对反映了验证过程中的推理路径，并可能涉及多模态证据（如文本和图像）。此外，数据集通过声明规范化、时间约束的证据标注和证据充分性检查，有效解决了上下文依赖、时间泄漏和证据不足等常见问题。数据集的标注一致性较高，标注者间在判决标签上的一致性达到κ=0.742，问答对的覆盖率为74.7%。

使用方法

AVERIMATEC数据集的使用方法包括声明验证、证据检索和推理路径分析。研究人员可以利用数据集中的图像-文本声明和标注的问答对，开发自动化验证系统。系统可通过生成证据检索问题并利用网络工具回答问题，逐步验证声明的真实性。数据集的评估方法包括参考基础的证据检索评估和条件判决准确性评估，确保系统不仅预测判决，还能提供充分的证据支持。此外，数据集还支持生成解释性文本，说明判决的依据，从而增强系统的透明度和可解释性。

背景与挑战

背景概述

AVERIMATEC数据集由剑桥大学和伦敦玛丽女王大学的研究团队于2025年提出，旨在解决社交媒体中图文结合的虚假信息自动验证问题。该数据集包含1,297个真实世界的图文声明，每个声明均标注了基于网络证据的问答对，以反映验证过程中的分解推理。通过声明标准化、时间约束的证据标注和两阶段充分性检查，该数据集有效缓解了事实核查数据集中常见的上下文依赖、时间泄漏和证据不足等挑战。AVERIMATEC的推出为多模态虚假信息检测领域提供了首个包含显式推理路径和证据标注的基准数据集，显著提升了自动化事实核查系统的可解释性和可靠性。

当前挑战

AVERIMATEC面临的挑战主要体现在两个方面：领域问题方面，图文声明验证需同时处理视觉与文本模态的复杂关联，现有模型易受表面相关性干扰而忽略事实逻辑一致性；构建过程方面，需解决真实声明提取中的上下文完整性、证据时间有效性验证（防止未来信息泄漏）以及多模态证据充分性评估等难题。特别地，证据检索需克服约13%图像无法通过反向搜索获取上下文信息，且需开发新型评估方法以衡量模型生成问题与检索证据的质量。

常用场景

经典使用场景

AVERIMATEC数据集在自动化事实核查领域具有重要应用价值，尤其在验证图像-文本声明的真实性方面表现突出。该数据集通过分解验证过程为一系列带有网络证据的问题-答案对，为研究者提供了丰富的多模态验证路径。在社交媒体虚假信息检测场景中，研究者可利用该数据集训练模型识别图像被篡改、上下文被曲解等常见虚假信息传播手段。

解决学术问题

该数据集有效解决了多模态虚假信息检测中的三大核心问题：真实世界图像-文本声明的数据稀缺性、验证过程的可解释性不足以及证据标注的完整性缺失。通过标注1,297个真实声明及其对应的网络证据链，该研究填补了现有数据集依赖合成数据、缺乏证据标注的空白，为构建可解释的多模态事实核查系统提供了关键基础设施。

衍生相关工作

该数据集推动了多模态事实核查领域的多项创新研究，包括基于证据检索的声明验证框架（如DEFAME系统）、动态问题生成算法（DQG）以及跨模态一致性检测模型。其标注范式更被后续工作如MuMiN、FACTIFY 2等数据集所借鉴，形成了多模态虚假信息检测的标准评估体系。