tum-nlp/IDMGSP

该数据集是一个用于检测机器生成科学论文的基准数据集，基于论文的摘要、引言和结论部分。数据集包含多个配置，每个配置有不同的数据字段和分割。数据集的语言为英语，数据来源包括arXiv、ChatGPT、GPT-2、SCIgen、Galactica和GPT-3等。

原始信息汇总

数据集概述

数据集基本信息

• 数据集名称: A Benchmark Dataset for Identifying Machine-Generated Scientific Papers in the LLM Era (IDMGSP)
• 数据集大小: 10K<n<100K
• 语言: 英语
• 任务类别: 文本分类
• 标签: 科学论文, 假论文, 科学, 科学文本
• 数据集配置:
  • classifier_input
  • tecg
  • train+gpt3
  • train-cg
  • ood_gpt3
  • ood_real

数据集结构

数据字段

classifier_input

• id: 论文ID，对应arXiv数据库的标识符。
• year: 出版年份，由arXiv数据库提供。
• title: 论文标题，由arXiv数据库提供。
• abstract: 论文摘要，由arXiv数据库提供。
• introduction: 论文引言部分，由PDF解析器提取。
• conclusion: 论文结论部分，由PDF解析器提取。
• categories: 论文主题/领域，由arXiv数据库提供。
• src: 论文来源，可能的值为"chatgpt", "gpt2", "real", "scigen"或"galactica"。
• label: 标签，0表示真实/人类编写的论文，1表示虚假/机器生成的论文。

其他配置（train+gpt3, tecg, train-cg, ood_gpt3, ood_real）

• 包含类似的字段，如id, year, title, abstract, introduction, conclusion, categories, src, label，但src和label的具体值可能有所不同。

数据分割

• train: 训练集，包含16000个示例，总字节数为70117904。
• test: 测试集，包含8000个示例，总字节数为34724993。

许可证

• 许可证: openrail++