allenai/scifact|科学事实验证数据集|自然语言处理数据集

SciFact数据集包含1.4K专家撰写的科学声明，这些声明与包含证据的摘要配对，并附有标签和理由。该数据集专为文本分类任务设计，特别是事实核查。数据集是单语的，包含英语内容，并由专家精心策划。数据集包括两个主要配置：corpus和claims，每个配置都有特定的特征和数据分割。

原始信息汇总

数据集概述

数据集名称

• 名称: SciFact

语言

• 语言: 英语 (en)

许可证

• 许可证: CC BY-NC 2.0

多语言性

• 多语言性: 单语种

大小分类

• 大小分类: 1K<n<10K

源数据集

• 源数据集: 原始数据

任务类别

• 任务类别: 文本分类

任务ID

• 任务ID: fact-checking

论文代码ID

• 论文代码ID: scifact

数据集结构

配置名称

• 配置名称: corpus 和 claims

数据特征

corpus

• doc_id: int32
• title: string
• abstract: sequence of string
• structured: bool

claims

• id: int32
• claim: string
• evidence_doc_id: string
• evidence_label: string
• evidence_sentences: sequence of int32
• cited_doc_ids: sequence of int32

数据分割

corpus

• train: 5183 examples, 7993572 bytes

claims

• train: 1261 examples, 168627 bytes
• validation: 450 examples, 60360 bytes
• test: 300 examples, 33625 bytes

下载与数据集大小

• 下载大小: 3115079 bytes
• 数据集大小: corpus 7993572 bytes, claims 262612 bytes

数据集创建

许可证信息

• 许可证: CC BY-NC 2.0

引用信息

@inproceedings{wadden-etal-2020-fact, title = "Fact or Fiction: Verifying Scientific Claims", author = "Wadden, David and Lin, Shanchuan and Lo, Kyle and Wang, Lucy Lu and van Zuylen, Madeleine and Cohan, Arman and Hajishirzi, Hannaneh", booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)", month = nov, year = "2020", address = "Online", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2020.emnlp-main.609", doi = "10.18653/v1/2020.emnlp-main.609", pages = "7534--7550", }

AI搜集汇总

数据集介绍

构建方式

SciFact数据集由专家生成的1.4K科学声明与包含证据的摘要配对构建而成。数据集的构建过程涉及从原始科学文献中提取摘要，并由专家对这些摘要进行标注，以确定其是否支持特定的科学声明。标注过程中，专家不仅提供了支持或不支持的标签，还详细标注了支持声明的具体句子。

特点

SciFact数据集的特点在于其专注于科学事实的验证任务，提供了丰富的科学声明与证据对。数据集中的每个声明都附有详细的证据摘要，并且标注了支持或不支持的标签，以及具体的证据句子。这种结构化的数据形式使得SciFact成为科学事实验证领域的宝贵资源。

使用方法

SciFact数据集可用于训练和评估科学事实验证模型。用户可以通过加载数据集，访问其中的声明和对应的证据摘要，进行模型的训练和测试。数据集提供了训练、验证和测试三个分割，便于用户进行交叉验证和模型性能评估。此外，数据集的结构化格式使得用户可以方便地提取特定字段进行进一步分析。

背景与挑战

背景概述

SciFact数据集由Allen Institute for AI于2020年推出，旨在解决科学文献中的事实核查问题。该数据集包含1400个由专家撰写的科学声明，并配以包含证据的摘要，标注了标签和理由。该数据集的核心研究问题是通过自然语言处理技术验证科学声明的真实性，从而推动科学文献的可信度评估。SciFact的发布为科学事实核查领域提供了重要的基准数据，促进了相关算法和模型的发展。

当前挑战

SciFact数据集面临的挑战主要体现在两个方面。首先，科学文献中的声明通常涉及复杂的专业术语和逻辑推理，如何准确理解并验证这些声明是一个巨大的挑战。其次，数据集的构建过程中，专家标注的准确性和一致性至关重要，但由于科学领域的多样性和复杂性，确保标注的高质量也面临困难。此外，数据集的规模相对较小，可能限制了模型在更广泛场景下的泛化能力。

常用场景

经典使用场景

SciFact数据集在科学文献验证领域具有重要应用，其经典使用场景包括对科学声明进行事实核查。通过将专家撰写的科学声明与包含证据的摘要进行配对，并结合标注的标签和理由，该数据集为自然语言处理模型提供了丰富的训练和测试资源，特别是在文本分类和事实核查任务中表现突出。

实际应用

在实际应用中，SciFact数据集被广泛用于构建自动化科学事实核查系统，帮助科研人员、期刊编辑和科学传播者快速验证科学声明的真实性。此外，该数据集还可用于开发智能文献检索工具，帮助用户在海量科学文献中快速定位相关证据，提升科研效率。

衍生相关工作

基于SciFact数据集，许多经典研究工作得以展开，例如开发基于深度学习的科学声明验证模型、构建科学文献检索系统以及探索多模态科学事实核查方法。这些工作不仅推动了自然语言处理领域的发展，也为科学信息的可信传播提供了技术支撑。