FEVER (Fact Extraction and VERification)

FEVER 是一个公开可用的数据集，用于对文本源进行事实提取和验证。 它由 185,445 个声明组成，根据维基百科页面的介绍部分手动验证并分类为 SUPPORTED、REFUTED 或 NOTENOUGHINFO。对于前两个类别，系统和注释者还需要返回句子组合，形成支持或反驳该主张的必要证据。 这些声明是由人类注释者从维基百科中提取声明并以各种方式对其进行变异产生的，其中一些是改变含义的。每个声明的验证是由注释者在单独的注释过程中进行的，他们知道页面而不是提取原始声明的句子，因此在 31.75% 的声明中，超过一个句子被认为是适当的证据。索赔要求在 16.82% 的案件中组合来自多个句子的证据。此外，在 12.15% 的索赔中，该证据取自多页。