tals/vitaminc

VitaminC是一个用于事实核查的数据集，基于Wikipedia的编辑（修订）创建，旨在提高模型对支持证据中细微差异的敏感性。该数据集包含超过100,000个Wikipedia修订，这些修订修改了基础事实，并利用这些修订以及额外合成的修订，创建了超过400,000个声明-证据对。与之前的资源不同，VitaminC中的例子是对比性的，即它们包含几乎在语言和内容上相同的证据对，但其中一个支持给定的声明，而另一个不支持。这种设计提高了模型的鲁棒性，在对抗性事实核查和对抗性自然语言推理任务中分别提高了10%和6%的准确率。此外，VitaminC的结构还定义了额外的事实核查任务，如标记证据中用于验证声明的相关词汇、识别事实修订以及通过事实一致的文本生成提供自动编辑。

原始信息汇总

数据集概述

基本信息

• 名称: VitaminC
• 语言: 英语
• 许可证: CC BY-SA 3.0
• 多语言性: 单语种
• 大小类别: 100K<n<1M

任务类别

• 文本分类

任务ID

• 事实核查
• 自然语言推理

详细描述

• 创建目的: 用于事实核查的数据集，基于维基百科编辑（修订）创建。
• 数据集特点: 包含对比性证据，即证据对在语言和内容上几乎相同，但一个支持给定声明，另一个不支持。
• 数据集规模: 超过400,000个声明-证据对。
• 性能提升: 使用该数据集训练的模型在对抗性事实核查和对抗性自然语言推理任务上分别提高了10%和6%的准确性。