persiannlp/parsinlu_entailment

PersiNLU数据集是一个用于波斯语文本蕴含任务的数据集，旨在判断句子1（sent1）是否蕴含句子2（sent2）。数据集中的问题部分是从SNLI数据集中翻译而来，部分由专家注释者生成。数据集包含756个训练样本、271个开发样本和1751个测试样本。文本为波斯语（fa），并采用CC BY-NC-SA 4.0许可证。

The PersiNLU dataset is a dedicated resource for the Persian textual entailment task, which aims to determine whether sentence 1 (sent1) entails sentence 2 (sent2). Parts of the dataset contents are translated from the SNLI dataset, while the rest are generated by expert annotators. The dataset includes 756 training samples, 271 development samples and 1751 test samples. All texts are in Persian (fa) and are licensed under CC BY-NC-SA 4.0.

原始信息汇总

数据集概述

数据集名称

PersiNLU (Textual Entailment)

数据集描述

• 语言: 波斯语 (fa)
• 许可: CC BY-NC-SA 4.0
• 多语言性: 单语种
• 大小: 1K<n<10K
• 任务类别: 文本蕴含、自然语言推理
• 任务ID: 文本蕴含、自然语言推理

数据集结构

• 数据实例: 示例包含两个句子 (sent1 和 sent2)、一个标签 (label) 和一个类别 (category)。
• 数据字段:
  • sent1: 第一句
  • sent2: 第二句
  • source: 问题来源，翻译自MNLI或由母语者编写
  • label: 如果sent2由sent1蕴含，则为e；如果sent2与sent1矛盾，则为c；如果两者中立，则为n。
• 数据分割: 训练/开发/测试集包含756/271/1751样本。

数据集创建

• 注释创建者: 专家生成
• 语言创建者: 专家生成
• 源数据: 部分翻译自SNLI数据集，部分由专家注释者生成

许可证信息

CC BY-NC-SA 4.0

引用信息

bibtex @article{huggingface:dataset, title = {ParsiNLU: A Suite of Language Understanding Challenges for Persian}, authors = {Khashabi, Daniel and Cohan, Arman and Shakeri, Siamak and Hosseini, Pedram and Pezeshkpour, Pouya and Alikhani, Malihe and Aminnaseri, Moin and Bitaab, Marzieh and Brahman, Faeze and Ghazarian, Sarik and others}, year={2020} journal = {arXiv e-prints}, eprint = {2012.06154},
}

搜集汇总

数据集介绍

构建方式

在自然语言推理领域，文本蕴含任务一直是评估模型语义理解能力的重要基准。PersiNLU文本蕴含数据集专为波斯语设计，其构建融合了两种策略：一方面，从英文SNLI和MNLI数据集中精心翻译部分样本，确保跨语言语义对齐；另一方面，由波斯语母语专家根据语言特性自主创作新样本，以捕捉本土语境下的蕴含关系。所有标注均由领域专家完成，确保了标签的准确性与专业性。数据集的标签体系包含蕴含（e）、矛盾（c）和中性（n）三类，全面覆盖了文本推理的典型场景。

特点

该数据集以单语波斯语为媒介，聚焦于文本蕴含这一核心任务。其显著特点在于样本来源的双重性：翻译样本保留了源语言的逻辑多样性，而专家生成样本则融入了波斯语特有的表达习惯与文化背景。数据集规模适中，训练集、验证集和测试集分别包含756、271和1751个样本，结构清晰，便于模型训练与评估。此外，每条样本均标注了来源类别（翻译或自然生成），为分析不同构建方式对模型性能的影响提供了宝贵线索。

使用方法

使用时，数据集以JSON格式提供，包含两个关键句子（sent1和sent2）及其蕴含标签。研究人员可直接加载数据用于训练波斯语文本蕴含模型，或将其作为跨语言迁移学习的基准。由于标签简洁且类别均衡，该数据集适合用于序列分类任务，可通过预训练语言模型（如BERT的波斯语变体）进行微调。建议在评估时关注模型在不同来源样本上的表现差异，以深入理解其泛化能力。数据集采用CC BY-NC-SA 4.0许可，适用于学术研究场景。

背景与挑战

背景概述

在自然语言处理领域，文本蕴含任务旨在判断两个句子之间的逻辑关系，是衡量机器语言理解能力的关键基准之一。波斯语作为全球使用人数众多的语言，其自然语言处理研究却长期受限于高质量标注语料的匮乏。为填补这一空白，由Daniel Khashabi等学者于2020年创建了ParsiNLU系列数据集，其中蕴含子集persiannlp/parsinlu_entailment聚焦于波斯语的文本蕴含推理。该数据集融合了从MNLI翻译的样本和由波斯语专家人工撰写的实例，构建了包含756条训练、271条验证及1751条测试样本的标注集合，为波斯语自然语言推理研究提供了标准化评估平台，显著推动了低资源语言在语义理解方向的发展。

当前挑战

该数据集面临的核心挑战在于多维度平衡：其一，波斯语复杂的形态句法结构（如灵活的词序和丰富的派生系统）使得蕴含关系的判定较英语等语言更为困难，现有模型常难以捕捉细微的语义差异；其二，数据构建过程中，翻译自MNLI的样本可能携带源语言的语用偏见，而人工生成的样本虽更贴近母语直觉，却难以完全覆盖波斯语特有的文化隐喻和语境依赖；其三，数据集规模较小（不足3000例），这限制了深度学习模型充分学习语言模式的潜力，易导致过拟合或泛化能力不足，尤其在处理罕见语言现象时表现脆弱。

常用场景

经典使用场景

在自然语言推理领域，文本蕴含任务旨在判断两段文本之间的逻辑关系，是评估机器语义理解能力的重要基石。parsinlu_entailment数据集专为波斯语设计，涵盖了从英文SNLI数据集翻译而来的样本与母语专家手工构建的语料，为波斯语文本蕴含研究提供了高质量、多样化的评测基准。其经典使用场景包括训练和评估模型在蕴含、矛盾和中性三类关系上的判别能力，从而推动波斯语自然语言处理中语义理解技术的进步。

实际应用

在实际应用中，parsinlu_entailment数据集可赋能多种波斯语智能系统。例如，在智能客服场景中，用于验证用户问题与预设答案之间的逻辑一致性；在信息检索系统中，辅助判断查询与文档片段之间的蕴含关系以提升检索精度；在自动摘要与内容审核领域，帮助识别文本间的矛盾或冗余信息。这些应用直接提升了波斯语环境下人机交互的准确性与效率。

衍生相关工作

该数据集作为ParsiNLU评测套件的核心组成部分，催生了多项后续研究。相关经典工作包括基于波斯语预训练模型的微调与适配方法，如ParsBERT在文本蕴含任务上的性能评估；以及多任务学习框架在波斯语自然语言推理中的探索。此外，该数据集还被用作跨语言迁移学习的基准，推动了mBERT、XLM-R等模型在波斯语语义理解上的改进与优化，成为波斯语自然语言处理领域的重要参考资源。