nilc-nlp/assin

ASSIN（Avaliação de Similaridade Semântica e INferência textual）语料库是一个包含葡萄牙语句子对的语料库，适用于文本推理和释义分类器的探索。该语料库包含从葡萄牙和巴西的新闻文章中提取的句子对，分别使用欧洲葡萄牙语（EP）和巴西葡萄牙语（BP）编写。数据集的创建过程包括从Google News中收集描述同一事件的新闻文章，并使用LDA模型检索相似句子对。最终的数据集包含10,000个句子对，其中一半为巴西葡萄牙语，另一半为欧洲葡萄牙语。每个语言变体包含2,500个训练对、500个验证对和2,000个测试对。ASSIN (Avaliação de Similaridade Semântica e INferência textual) corpus is a Portuguese sentence pair corpus intended for the exploration of textual inference and paraphrase classifiers. This corpus includes sentence pairs extracted from news articles of Portugal and Brazil, written in European Portuguese (EP) and Brazilian Portuguese (BP) respectively. The dataset was constructed by collecting news articles covering the same event from Google News, and retrieving similar sentence pairs using LDA models. The final dataset contains 10,000 sentence pairs, with half in Brazilian Portuguese and the other half in European Portuguese. For each language variant, there are 2,500 training pairs, 500 validation pairs, and 2,000 test pairs.

原始信息汇总

数据集概述

名称: ASSIN (Avaliação de Similaridade Semântica e INferência textual)

语言: 葡萄牙语 (pt)

许可证: 未知

多语言性: 单语种

大小: 10K<n<100K

源数据集: 原始数据

任务类别: 文本分类

任务ID:

• 文本评分
• 自然语言推理
• 语义相似性评分

配置:

• full: 默认配置，包含5000个训练样本，1000个验证样本，4000个测试样本。
• ptbr: 包含2500个训练样本，500个验证样本，2000个测试样本。
• ptpt: 包含2500个训练样本，500个验证样本，2000个测试样本。

数据集结构

特征:

• sentence_pair_id: int64
• premise: string
• hypothesis: string
• relatedness_score: float32
• entailment_judgment: class_label (0: NONE, 1: ENTAILMENT, 2: PARAPHRASE)

数据分割:

• full:
  • 训练: 5000样本, 986499字节
  • 测试: 4000样本, 767304字节
  • 验证: 1000样本, 196821字节
• ptbr:
  • 训练: 2500样本, 463505字节
  • 测试: 2000样本, 374424字节
  • 验证: 500样本, 91203字节
• ptpt:
  • 训练: 2500样本, 522994字节
  • 测试: 2000样本, 392880字节
  • 验证: 500样本, 105618字节

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，语义相似度与文本蕴含任务的语料资源长期以英语为主导，而ASSIN（Avaliação de Similaridade Semântica e INferência textual）语料库的构建，正是为了填补葡萄牙语在这一研究方向的空白。该数据集通过多阶段流程精心打造：首先，从Google News Portugal和Brazil收集报道同一事件的新闻文章，分别代表欧洲葡萄牙语（EP）和巴西葡萄牙语（BP）；随后，基于大规模未标注新闻语料训练两个LDA模型，用于从同一主题的文章组中检索相似句子对，并设定相似度阈值以筛选出蕴含候选（高相似度）和无关系候选（低相似度）；最后，经人工语法修正和错误剔除后，由至少四名标注员对每对句子进行语义相似度评分（1-5分）和蕴含标签标注，其中标签分为“无关系”、“蕴含”和“释义”，仅保留至少三人达成一致的句子对作为黄金标准。

特点

ASSIN语料库的核心特色在于其精细的双语变体设计与任务导向性。数据集包含总计10,000个句子对，均匀分布于巴西葡萄牙语（ptbr）和欧洲葡萄牙语（ptpt）两种变体，每种变体下均划分出2,500个训练样本、500个验证样本和2,000个测试样本，形成均衡的评估框架。每个句子对不仅提供前提与假设的文本对，还配备连续的语义相似度分数（relatedness_score）与离散的蕴含判断标签（entailment_judgment），使数据集同时适用于语义文本相似度回归与自然语言蕴含分类两大任务。尤为独特的是，其标签体系舍弃了常见的“矛盾”类别，转而引入“释义”标签，这源于对新闻文本中同义表达高频出现现象的洞察，从而更贴合真实场景中的语义关系建模需求。

使用方法

ASSIN数据集可通过Hugging Face Datasets库便捷加载，支持三种配置：'full'整合全部10,000个样本，'ptbr'和'ptpt'分别对应巴西与欧洲葡萄牙语子集。用户可根据研究目标选择特定配置，例如进行跨变体迁移学习时，可加载'full'配置并利用其统一的训练/验证/测试划分（5,000/1,000/4,000）。数据字段包含句子对ID、前提文本、假设文本、浮点型相似度分数以及分类标签（0表示无关系，1表示蕴含，2表示释义），适合直接用于微调预训练语言模型或构建传统机器学习流水线。对于语义相似度任务，可将relatedness_score作为回归目标；对于蕴含分类任务，则使用entailment_judgment进行多类或二类（如将释义与蕴含合并）建模。建议在训练时对相似度分数进行归一化处理，并注意两种语言变体间的词汇与句法差异。

背景与挑战

背景概述

ASSIN（Avaliação de Similaridade Semântica e INferência textual）语料库是由巴西圣保罗大学数学与计算机科学研究所（ICMC-USP）的研究团队于2016年创建的，核心研究人员包括Erick Rocha Fonseca等人。该数据集专注于葡萄牙语的语义相似度与文本蕴含任务，旨在填补低资源语言在自然语言推理领域的空白。语料库包含10,000对句子，分别来自巴西葡萄牙语（ptbr）和欧洲葡萄牙语（ptpt），句子对源自Google News中报道同一事件的新闻文章。通过潜在狄利克雷分配（LDA）模型筛选相似句子，并经过人工标注，最终为每对句子提供语义相似度评分（1-5）和蕴含标签（无关系、蕴含、释义）。ASSIN的发布为葡萄牙语自然语言处理研究提供了标准化基准，推动了多语言语义推理技术的发展。

当前挑战

ASSIN数据集所解决的领域问题是葡萄牙语文本蕴含与语义相似度评估，这在低资源语言中尤为困难，因为缺乏大规模标注语料和预训练语言模型的支持。构建过程中面临多重挑战：首先，从新闻文章中提取语义相关的句子对需要依赖LDA模型，而模型阈值设定需平衡召回率与精确度，低阈值易引入噪声，高阈值则丢失潜在样本；其次，人工标注环节要求至少四位标注者达成一致，但释义与蕴含的边界模糊，导致争议性样本被丢弃，影响了数据集的规模与多样性；此外，葡萄牙语存在巴西与欧洲两种变体，其语法和词汇差异增加了跨变体语义对齐的复杂性，而矛盾标签的稀缺进一步限制了模型对否定关系的理解能力。

常用场景

经典使用场景

ASSIN数据集作为葡萄牙语自然语言处理领域的标杆性资源，其经典使用场景聚焦于文本蕴含识别与语义相似度计算两大核心任务。该数据集精心构建了来自葡萄牙和巴西新闻文章的句子对，标注了蕴含关系（无关系、蕴含、同义改写）以及1至5分的语义相似度评分，为研究者提供了评估模型在跨语言变体（欧洲葡萄牙语与巴西葡萄牙语）上泛化能力的独特平台。通过利用该数据集，学术界得以系统性地训练和验证基于深度学习的文本匹配模型，如BERT和RoBERTa的葡萄牙语变体，从而推动语义理解技术在罗曼语族中的发展。

解决学术问题

该数据集有效解决了葡萄牙语资源匮乏背景下文本语义推理与相似度评估的学术研究难题。在ASSIN问世之前，针对葡萄牙语的自然语言推理研究多依赖于机器翻译后的英语数据集，存在文化语境偏差和语言特异性缺失的问题。ASSIN通过提供人工标注的、覆盖两种主要葡萄牙语变体的高质量句子对，使得研究者能够精准探究跨方言的语义等价性、蕴含关系的语言表征，以及同义改写在新闻语篇中的分布规律。其意义在于为低资源语言的自然语言处理研究树立了方法论典范，并催生了一系列针对葡萄牙语语义理解的评测基准。

衍生相关工作

ASSIN数据集衍生了一系列具有影响力的经典工作，显著推动了葡萄牙语自然语言处理的发展。其中，BERTimbau模型作为基于BERT架构的葡萄牙语预训练语言模型，在其微调阶段广泛采用了ASSIN数据集的蕴含与相似度标注，从而在多项下游任务中达到最优性能。此外，研究者基于ASSIN构建了首个葡萄牙语文本蕴含评测基准（Portuguese RTE Benchmark），并提出了结合图神经网络与注意力机制的语义匹配框架。这些工作不仅验证了ASSIN作为训练数据的有效性，还激发了针对跨语言迁移学习、多任务联合训练等前沿方向的研究，进一步巩固了该数据集在罗曼语族语义分析中的核心地位。