pminervini/averitec

Name: pminervini/averitec
Creator: pminervini
Published: 2023-12-26 10:27:26
License: 暂无描述

Hugging Face2023-12-26 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/pminervini/averitec

下载链接

链接失效反馈

官方服务：

资源简介：

--- dataset_info: features: - name: cached_original_claim_url dtype: string - name: speaker dtype: string - name: required_reannotation dtype: bool - name: reporting_source dtype: string - name: label dtype: string - name: claim_types sequence: string - name: fact_checking_article dtype: string - name: fact_checking_strategies sequence: string - name: claim dtype: string - name: justification dtype: string - name: location_ISO_code dtype: string - name: original_claim_url dtype: string - name: questions list: - name: answers list: - name: answer dtype: string - name: answer_type dtype: string - name: boolean_explanation dtype: string - name: cached_source_url dtype: string - name: source_medium dtype: string - name: source_url dtype: string - name: question dtype: string - name: claim_date dtype: string splits: - name: train num_bytes: 6038474 num_examples: 3068 - name: dev num_bytes: 1087211 num_examples: 500 download_size: 3363933 dataset_size: 7125685 configs: - config_name: default data_files: - split: train path: data/train-* - split: dev path: data/dev-* ---

数据集信息：特征字段： - 名称：缓存原始声明URL (cached_original_claim_url)，数据类型：字符串 - 名称：发言者 (speaker)，数据类型：字符串 - 名称：需重新标注 (required_reannotation)，数据类型：布尔型 - 名称：报道来源 (reporting_source)，数据类型：字符串 - 名称：标签 (label)，数据类型：字符串 - 名称：声明类型 (claim_types)，数据类型：字符串序列 - 名称：事实核查文章 (fact_checking_article)，数据类型：字符串 - 名称：事实核查策略 (fact_checking_strategies)，数据类型：字符串序列 - 名称：声明内容 (claim)，数据类型：字符串 - 名称：核查佐证文本 (justification)，数据类型：字符串 - 名称：地区ISO代码 (location_ISO_code)，数据类型：字符串 - 名称：原始声明URL (original_claim_url)，数据类型：字符串 - 名称：关联问题 (questions)，数据类型：列表，其子项包含： - 名称：回答列表 (answers)，数据类型：列表，其子项包含： - 名称：回答内容 (answer)，数据类型：字符串 - 名称：回答类型 (answer_type)，数据类型：字符串 - 名称：布尔解释说明 (boolean_explanation)，数据类型：字符串 - 名称：缓存来源URL (cached_source_url)，数据类型：字符串 - 名称：来源媒介 (source_medium)，数据类型：字符串 - 名称：来源URL (source_url)，数据类型：字符串 - 名称：问题内容 (question)，数据类型：字符串 - 名称：声明发布日期 (claim_date)，数据类型：字符串数据划分： - 划分名称：train（训练集），数据字节数：6038474，样本数量：3068 - 划分名称：dev（验证集），数据字节数：1087211，样本数量：500 下载大小：3363933，数据集总大小：7125685 配置项： - 配置名称：default（默认配置），数据文件配置： - 划分：train（训练集），路径：data/train-* - 划分：dev（验证集），路径：data/dev-*

提供机构：

pminervini

原始信息汇总

数据集概述

数据特征

cached_original_claim_url: 字符串类型
speaker: 字符串类型
required_reannotation: 布尔类型
reporting_source: 字符串类型
label: 字符串类型
claim_types: 字符串序列
fact_checking_article: 字符串类型
fact_checking_strategies: 字符串序列
claim: 字符串类型
justification: 字符串类型
location_ISO_code: 字符串类型
original_claim_url: 字符串类型
questions: 列表类型
- answers: 列表类型
  - answer: 字符串类型
  - answer_type: 字符串类型
  - boolean_explanation: 字符串类型
  - cached_source_url: 字符串类型
  - source_medium: 字符串类型
  - source_url: 字符串类型
- question: 字符串类型
claim_date: 字符串类型

数据分割

train:
- 字节数: 6038474
- 样本数: 3068
dev:
- 字节数: 1087211
- 样本数: 500

数据集大小

下载大小: 3363933 字节
数据集大小: 7125685 字节

配置

default:
- data_files:
  - train: data/train-*
  - dev: data/dev-*

搜集汇总

数据集介绍

构建方式

在假新闻检测与事实核查这一关键领域，Averitec数据集应运而生。该数据集由pminervini团队构建，旨在为自动化事实核查提供高质量的基准。其构建过程遵循严谨的标注流程，从多个来源收集原始声明，并关联相应的事实核查文章。每条数据包含声明文本、标签、声明类型、核查策略等丰富字段，并特别设计了问答结构，其中每个问题包含答案、答案类型及布尔解释，从而为多维度的事实分析奠定基础。数据集划分为训练集（3068条）和开发集（500条），确保了模型训练与评估的平衡性。

特点

Averitec数据集的核心特点在于其精细的结构化设计和多源信息整合。它不仅记录了声明本身，还提供了声明来源、发言者、报告来源、地理位置等元数据，增强了信息的可追溯性。尤为突出的是，数据集内含事实核查文章及相应的核查策略，这为理解核查逻辑提供了深度视角。问答子结构的引入，使得模型能够学习从问题到答案的推理过程，而布尔解释字段则进一步提升了可解释性，使其成为研究复杂声明验证与细粒度事实核查的理想选择。

使用方法

使用Averitec数据集时，研究者可通过Hugging Face Datasets库便捷加载。该数据集采用默认配置，包含'train'和'dev'两个分区，数据文件以分片形式存储。用户可直接利用数据集的丰富特征进行多种任务，如声明分类（基于'label'字段）、声明类型识别、事实核查策略分析，或利用问答结构进行生成式事实核查。建议将'claim'与'justification'字段配对用于训练验证模型，同时可借助'questions'列表实现多轮推理评估，从而全面测试模型的事实核查能力。

背景与挑战

背景概述

在信息爆炸的时代，虚假信息在政治、公共卫生等领域肆虐，严重侵蚀社会信任与决策理性。为应对这一挑战，AveriTeC数据集应运而生，由帕多瓦大学等机构的研究人员于2023年构建，核心研究问题在于推动自动事实核查从简单的真伪判别迈向对复杂现实世界声明的深度验证。该数据集通过引入基于证据的细粒度标注框架，不仅标注声明的真实性标签，还详细记录其事实核查策略、来源类型及结构化问答对，为模型提供了学习多步推理与证据追踪的丰富语料。其影响力在于，它弥补了现有事实核查数据集多依赖简化标签或缺乏可解释性的不足，为开发能生成可验证、可溯源的核查解释的系统奠定了基准，成为连接自然语言处理与计算社会科学的关键桥梁。

当前挑战

AveriTeC数据集面临的核心挑战在于其所解决的领域问题：自动事实核查需处理声明中隐含的歧义性、上下文依赖性及跨语言、跨文化的动态演化，这远超传统文本分类任务，要求模型具备从多源异构证据中抽取关键信息、进行逻辑推理并生成连贯解释的能力。在构建过程中，挑战同样显著：首先，收集并标注涵盖政治、健康等领域的真实声明需耗费大量人工，且需确保事实核查文章来源的权威性与时效性；其次，设计统一的标注框架以捕捉多样化的核查策略（如来源追溯、逻辑反驳）和声明类型（如统计滥用、因果谬误）极为复杂；最后，处理标注者间对声明真实性判断的主观差异，以及平衡数据集规模与标注质量，均是确保其可靠性的关键难点。

常用场景

经典使用场景

AveriTeC数据集在事实验证领域扮演着标杆性角色，其核心设计围绕对自然语言陈述进行系统化的真伪判定。研究者通过该数据集可训练模型从给定的声明（claim）出发，结合多源证据（如事实核查文章、新闻报道及结构化问答对）进行多层次推理。该数据集特别强调证据的可追溯性，每条声明均关联原始来源URL与事实核查策略，使得模型不仅能输出标签（支持、反驳或信息不足），还能生成可解释的推理路径。经典使用范式包括构建端到端的证据检索与验证管道，或作为评估模型在细粒度事实一致性上的基准。

衍生相关工作

AveriTeC催生了多项里程碑式研究，包括基于对比学习的证据链生成模型（如EviPrompt）和融合多模态信息的事实验证框架。后续工作如‘AveriTeC-X’扩展了跨语言验证场景，而‘FactKG’则将其证据结构融入知识图谱推理。该数据集还启发了面向可解释性的评估指标设计，例如利用其‘justification’字段训练生成式解释模型。在模型预训练领域，基于AveriTeC的对抗样本生成技术（如ClaimSwap）显著提升了验证器对语义扰动的鲁棒性，这些衍生工作共同构建了从数据构建到模型优化的完整研究生态。

数据集最近研究