taln-ls2n/kptimes

KPTimes是一个用于关键词提取和生成模型基准测试的数据集。该数据集包含290K篇英文新闻文章，来源于《纽约时报》和《日本时报》。关键词由编辑以半自动方式标注，即编辑修订算法提出的关键词集并提供额外的关键词。数据集还使用了PRMU方案对参考关键词进行分类。文本预处理使用spacy进行，词干提取使用nltk的Porters stemmer实现。数据集包含训练、验证和测试集，每个集都有详细的统计信息。数据字段包括id、title、abstract、keyphrases、prmu、date和categories。KPTimes is a dataset for benchmarking keyword extraction and generation models. It contains 290K English news articles sourced from The New York Times and The Japan Times. The keywords are annotated in a semi-automatic manner by editors, who revise the keyword sets proposed by algorithms and add additional keywords. The dataset also classifies reference keywords using the PRMU scheme. Text preprocessing is conducted with spaCy, and stemming is implemented using NLTK's Porter Stemmer. The dataset includes training, validation, and test splits, each with detailed statistical information. The data fields include id, title, abstract, keyphrases, prmu, date, and categories.

原始信息汇总

KPTimes Benchmark Dataset for Keyphrase Generation

概述

KPTimes是一个用于评估关键短语提取和生成模型的基准数据集。该数据集包含290K篇英文新闻文章，来源于《纽约时报》和《日本时报》。关键短语由编辑在半自动化过程中进行标注，即编辑修订算法提出的关键短语集合并提供额外的关键短语。

数据集内容与统计

• 数据集大小: 290K篇新闻文章
• 语言: 英语
• 数据集划分:
  • 训练集: 259,923篇文档
  • 验证集: 10,000篇文档
  • 测试集: 20,000篇文档
• 关键短语统计:
  • 平均每篇文档关键短语数: 约5个
  • 关键短语分类: 存在、重排、混合、未见（PRMU）

数据集字段

• id: 文档唯一标识符
• title: 文档标题
• abstract: 文档摘要
• keyphrases: 参考关键短语列表
• prmu: 参考关键短语的PRMU分类列表
• date: 发布日期（YYYY/MM/DD）
• categories: 文章分类（1或2个分类）

数据处理

• 文本预处理: 使用spacy进行分词，特别规则避免分割带有连字符的单词。
• 词干提取: 使用nltk中的Porter词干提取器。

引用

• Gallina et al., 2019: KPTimes: A Large-Scale Dataset for Keyphrase Generation on News Documents.
• Boudin and Gallina, 2021: Redefining Absent Keyphrases and their Effect on Retrieval Effectiveness.

搜集汇总

数据集介绍

构建方式

KPTimes数据集旨在为关键短语提取与生成任务提供标准化基准评测。该数据集汇聚了来自《纽约时报》与《日本时报》的约29万篇英文新闻文章，其关键短语由编辑采用半自动化流程标注：算法首先自动生成候选短语，再由编辑进行修订与补充，从而保证了标注质量与多样性。文本预处理依赖spacy的'en_core_web_sm'模型进行分词，并特别设置规则避免连字符词汇被拆分。参考关键短语与源文本的匹配则基于nltk提供的Porter词干提取器完成，依据首次出现位置对存在性短语进行排序，构建了严谨的数据处理流程。

使用方法

该数据集以HuggingFace Datasets库形式发布，用户可通过简单的加载指令直接获取训练、验证与测试三个子集。每条数据包含文档唯一标识符、标题、摘要、参考关键短语列表及其PRMU类别、发布日期与文章类别。研究人员可基于标题与摘要字段作为输入，以关键短语列表为监督信号，开展序列生成或分类模型的训练与评估。PRMU标签字段支持对模型输出进行细粒度分析，尤其适用于评估模型在生成未见关键短语方面的能力，从而推动关键短语生成技术的深入发展。

背景与挑战

背景概述

在自然语言处理领域，关键短语生成是一项旨在从文档中自动提取或生成代表性短语的核心任务，广泛应用于信息检索、文本摘要和知识组织等场景。KPTimes数据集由Ygor Gallina、Florian Boudin和Beatrice Daille于2019年创建，依托法国南特大学等机构的研究力量，专门为关键短语生成与提取模型的基准测试而设计。该数据集包含约29万篇来自《纽约时报》和《日本时报》的英文新闻文章，其关键短语由编辑以半自动化方式标注，即先由算法生成候选短语，再由编辑修订和补充，确保了标注质量与规模。KPTimes的发布为关键短语生成研究提供了大规模、高质量的评测资源，显著推动了该领域从传统提取方法向生成式模型的演进，并成为评估模型在新闻文本上表现的重要标杆。

当前挑战

KPTimes数据集所解决的领域问题在于关键短语生成的准确性与多样性，尤其是如何处理文档中未显式出现的短语（即未见关键短语）的生成挑战。具体挑战包括：一、半自动化标注方式虽提升了效率，但编辑的修订可能引入主观偏差，导致关键短语分布不均，影响模型泛化能力；二、数据集采用PRMU分类方案，将关键短语分为出现、重排、混合与未见四类，其中未见关键短语占比约9%，对生成模型提出了超越简单抽取的语义理解要求；三、在构建过程中，文本预处理依赖spacy分词并保留连字符词，而参考关键短语的匹配需经Porter词干提取，这一流程的细微差异可能导致标注噪声，增加模型训练的复杂性。

常用场景

经典使用场景

KPTimes作为大规模新闻领域的关键词生成基准数据集，广泛应用于序列到序列模型与预训练语言模型的微调与评估。研究者通常利用其29万篇纽约时报与日本时报的英文新闻文章，结合编辑半自动标注的关键词标签，训练模型从标题与摘要中生成或提取代表性关键词。该数据集独特的PRMU分类体系（Present-Reordered-Mixed-Unseen）为评估模型在不同类型关键词上的生成能力提供了精细化框架，尤其适用于衡量模型对未见关键词的泛化性能。

解决学术问题

该数据集解决了新闻文本自动关键词生成领域长期缺乏大规模高质量标注语料的困境，填补了学术研究中数据规模与标注一致性的双重空白。通过引入PRMU分类方案，它首次系统性地区分了关键词在原文中的出现模式，为研究关键词的语义关联性、位置偏好及生成多样性提供了量化分析基础。这对提升信息检索系统的召回率与精确度具有重要理论价值，并推动了关键词生成任务从简单提取向复杂生成的范式演进。

实际应用

在实际应用中，KPTimes训练出的模型被部署于新闻聚合平台的自动标签生成系统，帮助编辑快速提炼文章核心主题以优化推荐算法。社交媒体内容管理工具借助其生成的关键词实现自动化话题聚类与趋势监测，而学术文献库则利用相关技术自动提取论文索引术语，降低人工编目成本。此外，该数据集支撑的模型在数字图书馆的元数据自动构建、企业知识图谱的实体链接等场景中展现出显著效率提升。

数据集最近研究

最新研究方向

KPTimes数据集作为新闻领域关键短语生成与抽取的基准资源，正推动着自然语言处理中细粒度语义理解的前沿探索。当前研究聚焦于利用其29万篇《纽约时报》与《日本时报》的编辑标注语料，结合PRMU分类体系（呈现型、重排序型、混合型与未见型），深入剖析模型在关键短语预测中的泛化能力与鲁棒性。尤其值得注意的是，该数据集在2021年NAACL会议提出的未见型关键短语重定义框架下，为评估生成模型对隐含语义的捕捉效能提供了新标尺。这一方向不仅呼应了新闻摘要自动化的热点需求，更通过区分表面匹配与深层语义关联，显著提升了信息检索系统的精准度，对知识图谱构建与内容推荐领域具有里程碑式的影响。