djstrong/ppc

---
language:
- pl
license:
- cc-by-nc-sa-4.0
multilinguality:
- monolingual
size_categories:
- 1K<n<10K
task_categories:
- text-classification
task_ids:
- semantic-similarity-classification
pretty_name: Polish Paraphrase Corpus
dataset_info:
features:
- name: sentence_A
dtype: string
- name: sentence_B
dtype: string
- name: label
dtype:
class_label:
names:
0: not used
1: exact paraphrases
2: similar sentences
3: non-paraphrases
splits:
- name: train
num_bytes: 539121
num_examples: 5000
- name: validation
num_bytes: 107010
num_examples: 1000
- name: test
num_bytes: 106515
num_examples: 1000
---

# PPC - Polish Paraphrase Corpus

### Dataset Summary

Polish Paraphrase Corpus contains 7000 manually labeled sentence pairs. The dataset was divided into training, validation and test splits. The training part includes 5000 examples, while the other parts contain 1000 examples each. The main purpose of creating such a dataset was to verify how machine learning models perform in the challenging problem of paraphrase identification, where most records contain semantically overlapping parts. Technically, this is a three-class classification task, where each record can be assigned to one of the following categories:
- Exact paraphrases - Sentence pairs that convey exactly the same information. We are interested only in the semantic meaning of the sentence, therefore this category also includes sentences that are semantically identical but, for example, have different emotional emphasis.
- Close paraphrases - Sentence pairs with similar semantic meaning. In this category we include all pairs which contain the same information, but in addition to it there may be other semantically non-overlapping parts. This category also contains context-dependent paraphrases - sentence pairs that may have the same meaning in some contexts but are different in others.
- Non-paraphrases - All other cases, including contradictory sentences and semantically unrelated sentences.

The corpus contains 2911, 1297, and 2792 examples for the above three categories, respectively. The process of annotating the dataset was preceded by an automated generation of candidate pairs, which were then manually labeled. We experimented with two popular techniques of generating possible paraphrases: backtranslation with a set of neural machine translation models and paraphrase mining using a pre-trained multilingual sentence encoder. The extracted sentence pairs are drawn from different data sources: Taboeba, Polish news articles, Wikipedia and Polish version of SICK dataset. Since most of the sentence pairs obtained in this way fell into the first two categories, in order to balance the dataset, some of the examples were manually modified to convey different information. In this way, even negative examples often have high semantic overlap, making this problem difficult for machine learning models.

### Data Instances

Example instance:
```
{
"sentence_A": "Libia: lotnisko w w Trypolisie ostrzelane rakietami.",
"sentence_B": "Jedyne lotnisko w stolicy Libii - Trypolisie zostało w nocy z wtorku na środę ostrzelane rakietami.",
"label": "2"
}
```

### Data Fields

- sentence_A: first sentence text
- sentence_B: second sentence text
- label: label identifier corresponding to one of three categories

### Citation Information

```
@inproceedings{9945218,
author={Dadas, S{\l}awomir},
booktitle={2022 IEEE International Conference on Systems, Man, and Cybernetics (SMC)},
title={Training Effective Neural Sentence Encoders from Automatically Mined Paraphrases},
year={2022},
volume={},
number={},
pages={371-378},
doi={10.1109/SMC53654.2022.9945218}
}
```

---
language:
- 波兰语（Polish）
license:
- 知识共享署名-非商业性使用-相同方式共享4.0国际许可协议（CC-BY-NC-SA-4.0）
multilinguality:
- 单语
size_categories:
- 1千<样本数<1万
task_categories:
- 文本分类
task_ids:
- 语义相似度分类
pretty_name: 波兰语释义语料库（Polish Paraphrase Corpus）
dataset_info:
features:
- name: sentence_A
dtype: 字符串
- name: sentence_B
dtype: 字符串
- name: label
dtype:
类别标签（class_label）:
类别名称:
0: 未使用
1: 完全释义句对
2: 相似句对
3: 非释义句对
splits:
- name: 训练集
字节数: 539121
样本数: 5000
- name: 验证集
字节数: 107010
样本数: 1000
- name: 测试集
字节数: 106515
样本数: 1000
---

# 波兰语释义语料库（Polish Paraphrase Corpus，简称PPC）

## 数据集概述
波兰语释义语料库包含7000条人工标注的句子对，数据集被划分为训练集、验证集与测试集：训练集包含5000条样本，验证集与测试集各包含1000条样本。构建该数据集的核心目的是验证机器学习模型在释义识别这一挑战性任务上的性能，该任务中多数样本包含语义重叠部分。从技术层面而言，这是一个三类分类任务，每条样本可被归入以下类别之一：
- 完全释义句对：传递完全一致信息的句子对。本分类仅关注句子的语义内涵，因此也包含语义完全相同但情感强调方式不同的句子。
- 近似释义句对：语义相似的句子对。本分类涵盖所有传递相同核心信息，但额外附带其他语义非重叠部分的句对，同时也包含上下文相关释义：即部分语境下语义一致、其他语境下存在差异的句子对。
- 非释义句对：所有其他情况，包括矛盾句与语义无关的句子。

该语料库的三类样本数分别为2911、1297与2792。数据集的标注流程首先通过自动化方式生成候选句对，随后由人工进行标注。我们尝试了两种主流的候选释义生成技术：基于多组神经机器翻译模型的回译，以及使用预训练多语言句子编码器的释义挖掘。提取得到的句子对来自多个不同数据源：Taboeba、波兰新闻文章、维基百科以及波兰语版SICK数据集（SICK dataset）。由于通过上述方式获取的多数句子对属于前两类，为平衡数据集，我们手动修改了部分样本以使其传递不同的信息。如此一来，即便负样本通常也具备较高的语义重叠度，这使得该任务对机器学习模型而言更具挑战性。

## 数据示例
示例样本：

{
"sentence_A": "利比亚：的黎波里的机场遭火箭弹袭击。",
"sentence_B": "利比亚首都唯一的机场——的黎波里机场于周二周三夜间遭火箭弹袭击。",
"label": "2"
}

## 数据字段
- sentence_A：第一句文本内容
- sentence_B：第二句文本内容
- label：对应三类类别的标签标识符

## 引用信息

@inproceedings{9945218,
author={Dadas, Sławomir},
booktitle={2022年IEEE系统、人与控制论国际会议（SMC）},
title={从自动挖掘的释义中训练高效的神经句子编码器},
year={2022},
volume={},
number={},
pages={371-378},
doi={10.1109/SMC53654.2022.9945218}
}

原始信息汇总

PPC - Polish Paraphrase Corpus

数据集概述

Polish Paraphrase Corpus 包含 7000 个手动标注的句子对，分为训练、验证和测试集。训练集包含 5000 个样本，验证和测试集各包含 1000 个样本。该数据集旨在验证机器学习模型在识别同义句（paraphrase identification）这一具有挑战性的任务中的表现，其中大多数记录包含语义重叠的部分。这是一个三分类任务，每个记录可以被分配到以下类别之一：

• Exact paraphrases - 传达完全相同信息的句子对。
• Close paraphrases - 语义相似的句子对。
• Non-paraphrases - 所有其他情况，包括矛盾句子和语义无关的句子。

该语料库包含 2911、1297 和 2792 个样本分别对应上述三个类别。数据集的标注过程之前进行了候选对的自动生成，然后进行手动标注。使用了两种流行的技术生成可能的同义句：使用神经机器翻译模型的回译和使用预训练的多语言句子编码器的同义句挖掘。提取的句子对来自不同的数据源：Taboeba、波兰新闻文章、维基百科和波兰版本的 SICK 数据集。

数据实例

示例实例： json { "sentence_A": "Libia: lotnisko w w Trypolisie ostrzelane rakietami.", "sentence_B": "Jedyne lotnisko w stolicy Libii - Trypolisie zostało w nocy z wtorku na środę ostrzelane rakietami.", "label": "2" }

数据字段

• sentence_A: 第一个句子文本
• sentence_B: 第二个句子文本
• label: 对应三个类别之一的标签标识符

引用信息

plaintext @inproceedings{9945218, author={Dadas, S{l}awomir}, booktitle={2022 IEEE International Conference on Systems, Man, and Cybernetics (SMC)}, title={Training Effective Neural Sentence Encoders from Automatically Mined Paraphrases}, year={2022}, volume={}, number={}, pages={371-378}, doi={10.1109/SMC53654.2022.9945218} }

搜集汇总

数据集介绍

构建方式

波兰语释义语料库（Polish Paraphrase Corpus）是一项针对机器翻译与语义理解挑战而构建的高质量数据集。其构建过程始于自动化候选句对生成阶段，研究者采用两种前沿技术：一是利用多神经机器翻译模型进行反向翻译，二是借助预训练的多语言句子编码器进行释义挖掘。这些候选句对来源于Taboeba、波兰语新闻文章、维基百科以及波兰语版SICK数据集。随后，所有候选句对均由人工进行精细标注，以区分精确释义、相似句子与非释义三类。为平衡类别分布，部分非释义示例被人工修改以引入语义差异，从而确保负例也具备高度语义重叠，增加了模型判别的难度。最终，数据集被划分为训练集（5000例）、验证集（1000例）和测试集（1000例），共计7000个手工标注的句对。

特点

该数据集的核心特点在于其精细的三分类体系与高度语义重叠的样本设计。分类标签包括精确释义、相似句子和非释义，其中精确释义关注语义等同性而非情感强调差异，相似句子则涵盖上下文依赖的释义关系。数据集中精确释义、相似句子和非释义的样本数量分别为2911、1297和2792，呈现出非均衡但富有挑战性的分布。特别值得注意的是，由于自动化生成与人工修改的结合，非释义样本往往与正例存在显著语义重叠，这使得模型在区分细微语义差异时面临严峻考验。此外，数据集涵盖多种文本来源，确保了语言多样性和领域覆盖度，为评估模型在真实场景中的泛化能力提供了坚实基础。

使用方法

该数据集专为文本分类任务设计，适用于语义相似度分类场景。用户可基于HuggingFace平台直接加载使用，通过`load_dataset("djstrong/ppc")`命令获取包含训练、验证和测试三个子集的数据。每个样本由`sentence_A`和`sentence_B`两个字符串字段以及一个整数标签字段组成，标签0、1、2分别对应未使用、精确释义、相似句子和非释义四类，但实际任务中仅使用后三类。建议研究者采用预训练语言模型（如BERT、RoBERTa等）进行微调，输入格式为两段文本的拼接，输出层设置为三分类。评估指标可选用准确率、F1分数等，尤其需关注模型在非释义类别上的表现，以检验其对语义重叠干扰的鲁棒性。训练时需注意类别不平衡问题，可考虑加权损失或重采样策略。

背景与挑战

背景概述

波兰语释义语料库（Polish Paraphrase Corpus, PPC）由Sławomir Dadas于2022年创建，旨在应对自然语言处理中释义识别这一核心挑战。该研究隶属于波兰学术机构，聚焦于机器理解语义等价性的能力——即判断两个句子是否表达相同或相近信息。PPC包含7000个手工标注的句子对，划分为训练集（5000例）、验证集（1000例）和测试集（1000例），其标签体系细分为精确释义、近似释义和非释义三类。该语料库的构建基于Taboeba、波兰新闻文章、维基百科及SICK数据集的多源语料，通过回译和预训练多语言句子编码器自动化挖掘候选对，再经人工精标而成。PPC的发布填补了波兰语释义识别领域标注资源的空白，为评估句子编码器在低资源语言上的泛化能力提供了基准，推动了多语言语义理解研究的发展。

当前挑战

PPC所解决的领域问题在于释义识别中语义重叠的复杂性，尤其是波兰语作为屈折语，形态变化丰富，导致模型需同时处理词汇相似性与句法变体间的微妙差异。构建过程中，挑战首先体现为候选对的生成：自动化挖掘（如回译与编码器检索）虽高效，但产出大量精确或近似释义，非释义样本稀缺，迫使研究者手动修改句子以平衡类别分布，这一过程耗时且需避免引入语义歧义。其次，标注一致性难以保障，因上下文依赖释义（如某些句子仅在特定语境下同义）需标注者具备高语言学素养，而三类标签间的边界模糊（如“近似”与“非释义”的区分）易导致主观偏差。此外，数据集规模有限（仅7000例），虽聚焦高语义重叠样本以增强任务难度，但可能限制深度学习模型的泛化能力，需依赖迁移学习或数据增强技术弥补不足。

常用场景

经典使用场景

波兰语复述语料库（PPC）作为面向细粒度语义相似性分类的基准数据集，其经典使用场景聚焦于复述识别任务。研究者利用该语料库训练和评估模型区分句子对是否属于精确复述、近似复述或非复述三类语义关系。由于数据集中大量负例也包含高度语义重叠，这一特性使得PPC成为检验模型在语义边界模糊情境下判别能力的理想平台，尤其适用于多语言句子编码器的性能验证。

实际应用

在实际应用中，PPC训练的模型可直接服务于波兰语信息检索系统的查询扩展与文档去重，通过识别语义等价的自然语言表述提升搜索召回率。在对话机器人领域，该数据集支撑的复述检测能力有助于实现用户意图的精准理解，避免因措辞差异导致的响应偏差。此外，基于PPC优化的句子编码器还可辅助波兰语文本摘要生成、机器翻译质量评估等下游任务，增强自然语言处理工具对斯拉夫语系的语言适应性。

衍生相关工作

PPC催生了多项开创性研究，其中最具代表性的是Sławomir Dadas基于该语料库提出的高效神经句子编码器训练框架，通过自动挖掘复述样本显著提升了跨语言句子表示的质量。后续工作进一步探索了对比学习与知识蒸馏技术在PPC上的应用，衍生出针对波兰语的轻量级语义匹配模型。该数据集还成为评估多语言预训练模型（如XLM-R、LaBSE）在波语复述任务上迁移能力的标准测试床。