PlanTL-GOB-ES/sts-es

STS-es数据集是一个用于语义文本相似性评分的西班牙语数据集。该数据集来源于SemEval-2014和SemEval-2015的西班牙语测试集，并随机划分为训练集（1,321个实例）、开发集（78个实例）和测试集（156个实例）。数据集的创建目的是为了增强西班牙语语言模型的开发。每个数据实例包括两个句子和一个相似性评分标签。数据集的创建过程涉及从西班牙语维基百科和西班牙新闻文本中收集数据，并由专家进行注释。The STS-es dataset is a Spanish-language dataset for semantic text similarity scoring. It is derived from the Spanish test sets of SemEval-2014 and SemEval-2015, and is randomly split into a training set (1,321 instances), a development set (78 instances), and a test set (156 instances). The dataset is developed to facilitate the development of Spanish language models. Each data instance includes two sentences and a similarity score label. The dataset was created by collecting data from Spanish Wikipedia and Spanish news texts, with annotation performed by domain experts.

原始信息汇总

数据集概述

名称: STS-es

语言: 西班牙语 (es-ES)

任务类别: 文本分类

任务ID:

• 语义相似度评分
• 文本评分

数据集结构:

• 数据实例:

  { sentence1: String, sentence2: String, label: Float }

• 数据字段:

  • sentence1: 字符串
  • sentence2: 字符串
  • label: 浮点数

• 数据分割:

  • 训练集: 1,321 实例
  • 开发集: 78 实例
  • 测试集: 156 实例

数据集创建:

• 源数据: 来自西班牙维基百科（2013年数据）和西班牙新闻文本（2014年）
• 注释过程: 专家生成

使用数据注意事项:

• 社会影响: 促进西班牙语语言模型的发展
• 偏见讨论: 未应用后处理步骤以减轻潜在的社会偏见

引用信息:

@inproceedings{agirre2015semeval, title={Semeval-2015 task 2: Semantic textual similarity, english, spanish and pilot on interpretability}, author={Agirre, Eneko and Banea, Carmen and Cardie, Claire and Cer, Daniel and Diab, Mona and Gonzalez-Agirre, Aitor and Guo, Weiwei and Lopez-Gazpio, Inigo and Maritxalar, Montse and Mihalcea, Rada and others}, booktitle={Proceedings of the 9th international workshop on semantic evaluation (SemEval 2015)}, pages={252--263}, year={2015} }

@inproceedings{agirre2014semeval, title={SemEval-2014 Task 10: Multilingual Semantic Textual Similarity.}, author={Agirre, Eneko and Banea, Carmen and Cardie, Claire and Cer, Daniel M and Diab, Mona T and Gonzalez-Agirre, Aitor and Guo, Weiwei and Mihalcea, Rada and Rigau, German and Wiebe, Janyce}, booktitle={SemEval@ COLING}, pages={81--91}, year={2014} }

搜集汇总

数据集介绍

构建方式

STS-es数据集专为西班牙语语义文本相似性任务而构建，其来源可追溯至SemEval-2014与SemEval-2015国际评测任务中的西班牙语测试集。由于原始评测未提供西班牙语子任务的训练数据，研究者将两个测试集样本进行合并与随机划分，最终形成包含1,321条样本的训练集、78条样本的开发集以及156条样本的测试集。为提升模型泛化难度，开发集规模被刻意设定得小于测试集。数据源主要来自2013年西班牙语维基百科快照与2014年西班牙语新闻文本，标注工作由领域专家完成，确保了语义相似度评分的高质量与可靠性。

特点

该数据集的核心特点在于其专注于单语西班牙语的语义相似度评估，为低资源语言的自然语言理解研究提供了宝贵资源。数据集中的每条样本包含一对西班牙语句子及其对应的语义相似度浮点标签，标签值范围覆盖从完全不相关到完全语义等价，能够细腻刻画句子间的语义关联程度。此外，数据集作为EvalEs西班牙语基准评测的一部分，其刻意缩小的开发集设计增加了模型调优的挑战性，促使研究者探索更具鲁棒性的语义表示方法。数据集不包含个人敏感信息，但未对潜在的社会偏见进行后处理，保留了原始语料的社会语言多样性。

使用方法

使用者可通过HuggingFace Datasets库直接加载该数据集，加载命令为`load_dataset('PlanTL-GOB-ES/sts-es')`，即可获取包含训练、开发与测试三部分的标准化数据。每条数据实例以字典形式呈现，键包括`sentence1`、`sentence2`及`label`，其中句子为字符串类型，标签为浮点数。该数据集适用于语义文本相似度评分任务，支持模型训练、验证与评测。研究者可结合预训练语言模型进行微调，或将其作为西班牙语语义理解基准测试的一部分。使用时需引用SemEval-2014与SemEval-2015的相关论文以尊重原始工作。

背景与挑战

背景概述

语义文本相似度（Semantic Textual Similarity, STS）任务是自然语言处理领域中的一项核心挑战，旨在量化两段文本在语义层面上的等价程度。该任务对于机器翻译评估、信息检索、对话系统等多个应用场景具有关键支撑作用。STS-es数据集正是在此背景下应运而生，由巴塞罗那超级计算中心（BSC）的研究人员Aitor Gonzalez及其团队主导构建，整合了SemEval-2014和SemEval-2015共享任务中的西班牙语测试集。鉴于原始西班牙语子任务缺乏训练数据，研究团队通过随机采样方式，从这些权威评测语料中精心划分出1321句训练集、78句开发集和156句测试集，并刻意使开发集规模小于测试集以增加模型泛化难度。该数据集不仅填补了西班牙语语义相似度评测资源的空白，更作为EvalEs西班牙语基准的重要组成部分，有力推动了低资源语言自然语言理解技术的发展。

当前挑战

STS-es数据集所面临的挑战多维而深刻。从领域问题层面看，语义文本相似度本身即是一项极具难度的自然语言理解任务，它要求模型超越词汇层面的匹配，深入捕捉句子在句法、语义乃至语用层面的微妙关联，尤其当面对西班牙语中丰富的形态变化、歧义表达和文化特定习语时，挑战尤为突出。在数据集构建过程中，挑战同样不容忽视：原始语料仅提供测试集而无训练数据，迫使团队采用小样本随机划分策略，这导致开发集仅有78个实例，极易引发模型过拟合或评估不稳定。此外，数据来源主要依赖2013年的西班牙语维基百科和2014年的新闻文本，语料时效性有限，且未经后处理以缓解潜在的社会偏见，这些因素共同构成了当前模型在该数据集上实现稳健泛化的主要障碍。

常用场景

经典使用场景

STS-es数据集是面向西班牙语的语义文本相似度评测基准，其经典使用场景聚焦于评估模型在西班牙语环境下对句子对语义等价程度的量化能力。该数据集整合了SemEval-2014与SemEval-2015共享任务中的西班牙语测试集，并通过精心划分的训练、验证与测试集，为研究者提供了统一的训练与评估框架。尤为值得一提的是，其验证集规模刻意小于测试集，旨在增加模型泛化挑战，从而更真实地反映模型在有限监督下的语义理解水平。这一设计使得STS-es成为西班牙语自然语言处理领域中，检验语义表示学习、跨句推理及细粒度相似度回归任务性能的标杆性数据集。

实际应用

在实际应用层面，STS-es所承载的语义相似度技术可广泛赋能西班牙语信息检索系统、智能问答平台及机器翻译质量评估等场景。例如，在搜索引擎中，模型可利用该数据集习得的语义匹配能力，精准识别用户查询与文档内容之间的语义关联，从而超越字面匹配的局限，提升检索结果的相关性。在教育领域，该技术可用于自动评估学生答案与标准答案之间的语义一致性，辅助语言教学。同时，在跨语言信息处理中，STS-es训练的模型能够作为西班牙语语义分析的核心组件，支撑对话系统、文本摘要及知识图谱构建等任务，显著提升西班牙语自然语言处理应用的智能化水平。

衍生相关工作

STS-es数据集衍生了一系列具有影响力的经典工作，深刻推动了西班牙语自然语言处理的进展。首先，该数据集被纳入EvalEs西班牙语语言基准评测体系，成为评估模型语义理解能力的核心任务之一，催生了多篇针对西班牙语语义表示优化的研究论文。其次，研究者基于STS-es开展了跨语言语义相似度迁移学习的探索，验证了多语言预训练模型（如XLM-R、mBERT）在西班牙语上的微调策略有效性。此外，该数据集还启发了针对西班牙语语义相似度的多任务学习框架，将文本蕴含识别、释义检测等任务与相似度回归相结合，显著提升了模型的语义泛化能力。这些工作不仅丰富了西班牙语NLP的理论体系，也为其他低资源语言的语义评测研究提供了可复现的范式参考。