tum-nlp/IDMGSP

该数据集是一个用于检测机器生成科学论文的基准数据集，基于论文的摘要、引言和结论部分。数据集包含多个配置，每个配置有不同的数据字段和分割。数据集的语言为英语，数据来源包括arXiv、ChatGPT、GPT-2、SCIgen、Galactica和GPT-3等。

This dataset is a benchmark dataset for detecting machine-generated scientific papers, based on the abstract, introduction and conclusion sections of academic papers. It includes multiple configurations, each with distinct data fields and data splits. The dataset is in English, and its data sources include arXiv, ChatGPT, GPT-2, SCIgen, Galactica, GPT-3, among others.

原始信息汇总

数据集概述

数据集基本信息

• 数据集名称: A Benchmark Dataset for Identifying Machine-Generated Scientific Papers in the LLM Era (IDMGSP)
• 数据集大小: 10K<n<100K
• 语言: 英语
• 任务类别: 文本分类
• 标签: 科学论文, 假论文, 科学, 科学文本
• 数据集配置:
  • classifier_input
  • tecg
  • train+gpt3
  • train-cg
  • ood_gpt3
  • ood_real

数据集结构

数据字段

classifier_input

• id: 论文ID，对应arXiv数据库的标识符。
• year: 出版年份，由arXiv数据库提供。
• title: 论文标题，由arXiv数据库提供。
• abstract: 论文摘要，由arXiv数据库提供。
• introduction: 论文引言部分，由PDF解析器提取。
• conclusion: 论文结论部分，由PDF解析器提取。
• categories: 论文主题/领域，由arXiv数据库提供。
• src: 论文来源，可能的值为"chatgpt", "gpt2", "real", "scigen"或"galactica"。
• label: 标签，0表示真实/人类编写的论文，1表示虚假/机器生成的论文。

其他配置（train+gpt3, tecg, train-cg, ood_gpt3, ood_real）

• 包含类似的字段，如id, year, title, abstract, introduction, conclusion, categories, src, label，但src和label的具体值可能有所不同。

数据分割

• train: 训练集，包含16000个示例，总字节数为70117904。
• test: 测试集，包含8000个示例，总字节数为34724993。

许可证

• 许可证: openrail++

搜集汇总

背景与挑战

背景概述

IDMGSP是由慕尼黑工业大学NLP团队创建的基准数据集，专门用于检测大语言模型时代机器生成科学论文，基于论文的摘要、引言和结论部分进行分类。数据集包含10K到100K个实例，数据来源多样，包括arXiv真实论文及ChatGPT、GPT-2等机器生成内容，并提供了详细的标签和拆分以支持模型训练与评估。