allenai/csabstruct

CSAbstruct数据集包含2189个手动标注的计算机科学摘要，每个句子根据其在摘要中的修辞角色进行标注，类似于PUBMED-RCT的类别。数据集构建过程中，每个句子由5名工作人员在Figure-eight平台上进行标注，标注类别包括BACKGROUND, OBJECTIVE, METHOD, RESULT, OTHER。数据集被划分为训练集、开发集和测试集，测试集具有最高的置信度分数。数据集的统计信息包括文档长度、句子长度以及各类别在数据集中的占比。

原始信息汇总

CSAbstruct 数据集概述

数据集描述

CSAbstruct 是一个包含2,189个计算机科学摘要的手动标注数据集，每个摘要中的句子根据其在摘要中的修辞角色进行标注，类似于 [PUBMED-RCT][3] 的分类。

数据集特点

• 多样性：与PUBMED-RCT不同，CSAbstruct中的计算机科学论文摘要没有预定义的结构，因此写作风格更为多样。
• 来源：数据集从Semantic Scholar corpus中收集。
• 标注过程：每个句子由5名工人在[Figure-eight平台][5]上标注，分为5个类别：BACKGROUND, OBJECTIVE, METHOD, RESULT, OTHER。
• 质量控制：使用8个摘要（共51个句子）训练标注工人，只有准确率超过75%的工人才能参与实际标注。
• 数据分割：数据集按75%/15%/10%的比例分为训练集、开发集和测试集，测试集包含最高信心分数的实例。

数据集统计

• 文档长度：平均6.7句 ± 1.99句。
• 句子长度：平均21.8词 ± 10.0词。
• 类别分布：
  • BACKGROUND：33%
  • METHOD：32%
  • RESULT：21%
  • OBJECTIVE：12%
  • OTHER：3%

引用信息

若使用此数据集，请引用以下论文：

@inproceedings{Cohan2019EMNLP, title={Pretrained Language Models for Sequential Sentence Classification}, author={Arman Cohan, Iz Beltagy, Daniel King, Bhavana Dalvi, Dan Weld}, year={2019}, booktitle={EMNLP}, }