allegro/klej-psc

波兰摘要语料库（PSC）是一个包含569篇新闻文章摘要的数据集。每篇文章由人类标注者创建五个提取式摘要，选择大约5%的原始文本。部分文章还补充了五个抽象式摘要。在HuggingFace版本中，同一篇文章的摘要被用作正对，而不同文章的最相似摘要被采样为负对。数据集用于文本相似性任务，通过生成正负对来训练模型。

Polish Summary Corpus (PSC) is a dataset containing summaries for 569 news articles. For each article, human annotators create five extractive summaries that select approximately 5% of the original text. Some articles are additionally supplemented with five abstractive summaries. In the HuggingFace version, summaries from the same article are used as positive pairs, while the most similar summaries from different articles are sampled as negative pairs. This dataset is designed for text similarity tasks, where positive and negative pairs are generated to train models.

原始信息汇总

数据集概述

名称: Polish Summaries Corpus (PSC)

语言: 波兰语 (pl)

许可证: Creative Commons Attribution ShareAlike 3.0 (CC-BY-SA 3.0)

多语言性: 单语种

大小: 5K 至 10K 之间

来源: 原始数据

任务类别: 文本分类

描述: PSC 是一个包含569篇新闻文章摘要的数据集。每篇文章由不同的人工标注者创建了五个提取式摘要，约占原文的5%。此外，154篇文章的子集还补充了每个文章的五个抽象式摘要。在HuggingFace版本中，同一文章的摘要被用作正样本，而不同文章的最相似摘要被采样为负样本。

任务详情

任务: 预测提取的文本和摘要是否相似

输入: 提取文本和摘要文本

输出: 标签（1表示相似，0表示不相似）

领域: 新闻文章

度量标准: F1-Score

数据分割

子集	基数
训练	4302
验证	0
测试	1078

类别分布

类别	训练	验证	测试
不相似	0.705	-	0.696
相似	0.295	-	0.304

引用

@inproceedings{ogro:kop:14:lrec, title={The {P}olish {S}ummaries {C}orpus}, author={Ogrodniczuk, Maciej and Kope{c}, Mateusz}, booktitle = "Proceedings of the Ninth International {C}onference on {L}anguage {R}esources and {E}valuation, {LREC}~2014", year = "2014", }

搜集汇总

数据集介绍

构建方式

Polish Summaries Corpus（PSC）是一个面向波兰语新闻摘要的文本相似性数据集，其构建过程融合了抽取式与生成式摘要技术。数据来源于569篇新闻文章，每篇文章由不同标注者独立生成约5%原文长度的抽取式摘要，其中154篇文章额外补充了五条生成式摘要。在HuggingFace版本中，同篇文章的摘要被构造成正例对，而不同文章之间语义最相似的摘要则作为负例样本。具体而言，正例对由同一篇文章的抽取式摘要与两条最不相似的生成式摘要匹配而成；负例对则选取不同文章中与抽取式摘要最相似的两条生成式摘要。这种精细化的配对策略确保了任务具有明确的语义判别边界。

特点

该数据集的核心特点在于其层次化的相似性标注机制与波兰语领域的稀缺性。作为目前规模较大的波兰语摘要相似性基准，它包含约5380个样本，其中训练集4302例、测试集1078例，类别分布呈现自然偏斜——不相似样本约占70%，相似样本占30%。数据集覆盖多种新闻主题，摘要长度经过严格的比例控制（约5%），既保留了原文关键信息，又通过生成式摘要引入语义多样性。这种混合摘要策略使得模型需要在抽象与提取之间建立灵活的语义映射，从而提升文本匹配任务的挑战性与现实意义。

使用方法

数据集通过HuggingFace的datasets库即可便捷加载，使用`load_dataset("allegro/klej-psc")`命令即可获取。任务定义为二分类问题，输入为抽取文本（extract_text）与摘要文本（summary_text）构成的句子对，输出为二进制标签（label），1表示语义相似，0表示不相似。评估指标采用宏平均F1分数，以平衡类别不均衡的影响。用户可参考官方示例，通过随机预测或构建分类器进行基线测试，并利用`load_metric`库计算准确率与F1分数。该数据集适用于波兰语自然语言处理中的文本匹配、摘要评估及语义相似性研究。

背景与挑战

背景概述

波兰摘要语料库（Polish Summaries Corpus, PSC）由Maciej Ogrodniczuk和Mateusz Kopeć于2014年创建，旨在为波兰语的文本摘要与相似性判定提供标准化的评估资源。该数据集收录了569篇新闻文章，每篇文章由人工标注者生成五条抽取式摘要，其中154篇文章还额外补充了五条生成式摘要，从而构建了多视角的摘要对比体系。PSC的核心研究问题在于如何通过对比同一文章的不同摘要类型（抽取式与生成式）以及跨文章的相似摘要，来精准判别文本对是否源自相同内容。作为波兰自然语言处理领域的重要基准，PSC被纳入KLEJ评测基准，显著推动了波兰语文本分类与语义匹配任务的发展，尤其在低资源语言的摘要质量评估中发挥了关键作用。

当前挑战

PSC所面对的挑战首先体现在文本相似性判定的领域难题上：由于摘要本身是对原文的高度压缩与语义重构，正负样本间的边界往往模糊不清，例如不同文章的生成式摘要可能因主题重叠而产生虚假相似性，导致模型难以区分语义相近但来源不同的摘要对。其次，在数据集构建过程中，如何确保人工标注的摘要既忠实于原文又具备多样性是一大挑战——标注者需在5%的原文长度限制下提取关键信息，同时避免主观偏差；此外，为154篇文章额外生成抽象式摘要时，需平衡其与抽取式摘要的语义距离，以形成有效的正负样本对，这要求标注者具备高度一致的判断标准，而跨标注者的差异性可能引入噪声，影响数据集的稳定性和可靠性。

常用场景

经典使用场景

Polish Summaries Corpus（PSC）作为面向波兰语新闻文本的摘要一致性判别数据集，其经典使用场景聚焦于文本相似性分类任务。该数据集通过构建正负样本对——将同一篇新闻的抽取式摘要与抽象式摘要匹配为正例，将不同新闻间语义最相似的摘要对作为负例——为模型提供了精细的语义判别训练素材。研究者常利用此数据集训练二元分类器，以判断给定摘要是否忠实反映源文本核心内容，这一过程本质上是评估摘要与原文间语义等价性的基准测试。

衍生相关工作

PSC数据集衍生了一系列经典工作，包括基于预训练语言模型（如HerBERT、XLM-R）的摘要一致性判别系统，这些工作通过微调Transformer架构在PSC上取得了先进性能。此外，该数据集被整合进KLEJ基准测试套件，成为评估波兰语文本分类模型的标准任务之一。后续研究进一步将PSC的样本构建策略扩展至跨语言场景，催生了多语言摘要相似性评估数据集，推动了语义表示学习的跨语言迁移研究。

数据集最近研究

最新研究方向

在自然语言处理领域，文本相似度判别与摘要质量评估始终是核心议题，而波兰语摘要语料库（PSC）的提出为低资源语言的语义匹配研究注入了新活力。当前前沿方向聚焦于如何利用该数据集构建跨文章摘要对的细粒度语义对齐模型，特别是在抽取式与生成式摘要的混合场景下，通过正负样本的精心设计（如匹配同一文章的最不相似摘要作为正例、不同文章的最相似摘要作为负例），推动模型从浅层词汇重叠向深层语义理解跃迁。这一思路与近期多语言预训练模型（如XLM-R、mT5）的微调热潮深度契合，尤其在波兰语等形态丰富语言的文本蕴含与释义检测任务中，PSC成为验证模型跨句子结构泛化能力的基准。其意义不仅在于填补东欧语言资源空白，更通过引入对抗性样本构建策略（如最相似负例采样），为提升摘要一致性检测的鲁棒性提供了新范式，对新闻自动摘要、抄袭检测等实际应用具有直接推动作用。