jcblaise/newsph_nli

NewsPH NLI数据集是首个针对低资源菲律宾语（Tagalog）的句子蕴含任务基准数据集。该数据集通过利用新闻文章的结构构建，包含60万对前提-假设对，分为训练集、验证集和测试集，比例为70-15-15。数据集的特征包括前提（premise）、假设（hypothesis）和标签（label）。数据集的创建者来自De La Salle University和University of the Philippines。

原始信息汇总

数据集概述

数据集描述

• 数据集名称: NewsPH NLI
• 数据集简介: 首个针对低资源菲律宾语的句子蕴含基准数据集。通过利用新闻文章的结构构建，包含600,000个前提-假设对，按照70-15-15的比例分为训练、验证和测试集。

支持的任务和排行榜

• 任务类别: 文本分类
• 任务ID: 自然语言推理

语言

• 语言: 菲律宾语（Tagalog）

数据集结构

数据实例

json { "premise": "Alam ba ninyo ang ginawa ni Erap na noon ay lasing na lasing na rin?", "hypothesis": "Ininom niya ang alak na pinagpulbusan!", "label": "0" }

数据字段

• premise: 前提，数据类型为字符串
• hypothesis: 假设，数据类型为字符串
• label: 标签，数据类型为类别标签，包含两个类别：0 和 1

数据分割

• 训练集: 420,000个样本，154,510,599字节
• 测试集: 9,000个样本，3,283,665字节
• 验证集: 90,000个样本，33,015,530字节

数据集创建

策划理由

使用新闻文章自动创建NLI基准数据集的原因有两个：首先，新闻文章通常使用单句段落，每个段落仅包含一个句子。其次，新闻文章遵循“倒金字塔”结构，每个后续段落都建立在前提之上，最重要的信息位于顶部，最不重要的信息位于底部。

源数据

• 数据收集和规范化: 从所有主要的菲律宾新闻网站在线抓取新闻文章，共收集了229,571篇新闻文章，并进行了轻度预处理以去除多余的Unicode字符并纠正轻微的拼写错误。

注释

• 注释者: Jan Christian Blaise Cruz, Jose Kristian Resabal, James Lin, Dan John Velasco 和 Charibeth Cheng

使用数据的注意事项

数据集的社交影响

[更多信息需补充]

偏见的讨论

[更多信息需补充]

其他已知限制

[更多信息需补充]

其他信息

数据集策展人

• 策展人: Jan Christian Blaise Cruz

许可信息

[更多信息需补充]

引用信息

plaintext @article{cruz2020investigating, title={Investigating the True Performance of Transformers in Low-Resource Languages: A Case Study in Automatic Corpus Creation}, author={Jan Christian Blaise Cruz and Jose Kristian Resabal and James Lin and Dan John Velasco and Charibeth Cheng}, journal={arXiv preprint arXiv:2010.11574}, year={2020} }

贡献

感谢 @anaerobeth 添加此数据集。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域中，低资源语言的基准数据集构建一直是研究难点。NewsPH NLI数据集通过巧妙利用新闻文章的结构特性，实现了菲律宾语文本蕴含数据集的自动构建。其核心思路在于借助新闻写作中常见的单句段落结构以及“倒金字塔”信息组织方式：每段仅包含一个句子，且后文段落逐步建立在前文前提之上。研究者从菲律宾主要新闻网站采集了229,571篇直白新闻文章，经过去除异常Unicode字符和轻微拼写纠正等轻量预处理后，基于文章内句子间的逻辑关系自动生成前提-假设对，最终构建出包含60万对样本的大规模数据集，并以70-15-15的比例划分为训练集、验证集和测试集。

特点

该数据集作为菲律宾语首个句子蕴含基准，具有鲜明的语言与结构特色。其语料完全源自菲律宾语（他加禄语）新闻文本，覆盖该国各大新闻网站，确保了语言的地道性与时效性。数据集规模达60万对前提-假设实例，其中训练集42万对、验证集9万对、测试集9千对，为低资源语言研究提供了难得的丰富资源。每条数据包含前提、假设和标签三个字段，标签采用二分类体系（0表示矛盾，1表示蕴含），结构简洁明了。尤为重要的是，数据集通过自动化流程生成，避免了高昂的人工标注成本，同时保持了较高的数据一致性。

使用方法

该数据集主要面向文本分类任务中的自然语言推断（NLI）场景，研究者可将其直接用于菲律宾语蕴含模型的训练与评估。使用时，需加载premise和hypothesis两个字符串字段作为输入，label字段（0或1）作为监督信号。数据集已通过HuggingFace Datasets库集成，可通过简单的API调用获取预划分的训练、验证和测试子集。建议将数据应用于低资源语言场景下的Transformer模型微调，例如结合多语言预训练模型进行迁移学习。在评估时，推荐使用准确率作为主要指标，同时关注模型在菲律宾语特有表达上的泛化能力，以检验其在真实新闻文本中的推理表现。

背景与挑战

背景概述

NewsPH NLI数据集由菲律宾德拉萨大学与菲律宾大学的Jan Christian Blaise Cruz、Jose Kristian Resabal、James Lin、Dan John Velasco及Charibeth Cheng于2020年联合创建，旨在解决低资源语言——菲律宾语（他加禄语）的自然语言推理（NLI）任务。该数据集利用新闻文章的单句段落结构与倒金字塔叙事特点，通过自动化的方式构建了60万对前提-假设样本，成为首个针对菲律宾语句子蕴涵的基准数据集。其研究核心在于探索低资源场景下大规模NLI语料的自动生成方法，为Transformer模型在非英语语言中的真实表现评估提供了关键数据支持，对推动东南亚语言的自然语言处理研究具有重要开创性意义。

当前挑战

该数据集所解决的领域挑战在于：低资源语言缺乏大规模、高质量的NLI标注语料，传统人工标注成本高昂且难以扩展，而现有自动构建方法常引入噪声或语义偏差，导致模型泛化能力受限。在构建过程中，团队面临多重困难：首先，需从菲律宾主要新闻网站大规模采集并清洗229,571篇新闻文章，处理编码错误与拼写变异；其次，基于新闻结构自动生成蕴涵标签时，需确保前提与假设间的逻辑关系准确，避免因段落跳跃或信息冗余产生错误标注；此外，菲律宾语存在丰富方言变体与混合表达，进一步增加了数据一致性与代表性的挑战。

常用场景

经典使用场景

NewsPH NLI数据集的核心经典应用场景在于自然语言推理（NLI）任务的基准测试，尤其针对低资源语言——菲律宾语（他加禄语）。该数据集通过利用新闻文章的单句段落结构和倒金字塔叙事特征，自动生成了约60万对前提-假设（premise-hypothesis）文本对，并按照70%-15%-15%的比例划分为训练、验证和测试集。研究者通常使用该数据集来评估和比较不同模型在菲律宾语文本蕴含推理上的表现，从而填补低资源语言在NLI领域缺乏标准化评测基准的空白。

解决学术问题

该数据集有效解决了低资源语言自然语言处理研究中长期存在的标注数据匮乏问题。在学术领域，它使研究者能够系统性地探索文本蕴含推理在菲律宾语中的语言特性与逻辑结构，推动了跨语言NLI模型的泛化能力研究。NewsPH NLI的自动构建方法也提供了可复制的范式，证明了利用新闻语篇结构生成高质量NLI语料的可行性，为其他低资源语言（如他加禄语、宿务语等）的类似数据集建设提供了方法论启示，显著促进了多语言NLP技术的均衡发展。

衍生相关工作

基于NewsPH NLI数据集，衍生了一系列重要的研究工作，包括对Transformer模型在低资源语言中真实性能的深入探讨（如Cruz等人2020年的论文），以及针对菲律宾语的多任务学习框架开发。该数据集还被用作菲律宾语文本基准测试套件的组成部分，催生了诸如Filipino-BERT等预训练语言模型的微调与评估工作。此外，其自动语料构建策略启发了后续研究者在其他低资源语言（如印尼语、越南语）中采用类似方法创建NLI数据集，从而拓宽了多语言自然语言推理的研究边界。