PlanTL-GOB-ES/wnli-es

WNLI-es数据集是一个西班牙语版本的Winograd NLI数据集，包含855个句子对。每个句子对中的第一个句子包含一个歧义，第二个句子是对该歧义的一种可能解释。标签指示解释是否正确（1表示正确，0表示不正确）。该数据集由专业翻译机构翻译，旨在促进西班牙语语言模型的发展。数据集遵循Creative Commons Attribution 4.0 International License许可。

YAML 标签：
annotations_creators:
- 专家生成
language_creators:
- 公开获取
language:
- es
license:
- cc-by-4.0
multilinguality:
- 单语言
pretty_name: wnli-es
size_categories:
- 未知
source_datasets:
- 扩展|GLUE
task_categories:
- 文本分类
task_ids:
- 自然语言推理（natural-language-inference）

---

# WNLI-es 数据集

## 目录
- [目录](#table-of-contents)
- [数据集描述](#dataset-description)
- [数据集概述](#dataset-summary)
- [支持任务与基准榜](#supported-tasks-and-leaderboards)
- [语言](#languages)
- [数据集结构](#dataset-structure)
- [数据实例](#data-instances)
- [数据字段](#data-fields)
- [数据划分](#data-splits)
- [数据集创建](#dataset-creation)
- [数据集构建初衷](#curation-rationale)
- [源数据](#source-data)
- [标注信息](#annotations)
- [个人与敏感信息](#personal-and-sensitive-information)
- [数据使用注意事项](#considerations-for-using-the-data)
- [数据集的社会影响](#social-impact-of-dataset)
- [偏差讨论](#discussion-of-biases)
- [其他已知局限](#other-known-limitations)
- [附加信息](#additional-information)
- [数据集策展人](#dataset-curators)
- [许可信息](#licensing-information)
- [引用信息](#citation-information)
- [贡献信息](#contributions)

## 数据集描述
- **官方网站：** https://cs.nyu.edu/~davise/papers/WinogradSchemas/WS.html
- **联系方式：** [Carlos Rodríguez-Penagos]([e-mail]) 和 [Carme Armentano-Oller]([e-mail])

### 数据集概述
"Winograd模式（Winograd schema）是指仅在一至两个单词上存在差异的句子对，二者包含歧义且歧义在两句中以相反方式得到消解，需借助世界知识与推理完成消解，该模式以特里·维诺格拉德（Terry Winograd）命名。" 来源：[《Winograd模式挑战》（The Winograd Schema Challenge）](https://cs.nyu.edu/~davise/papers/WinogradSchemas/WS.html)。

[Winograd自然语言推理数据集（Winograd NLI）](https://dl.fbaipublicfiles.com/glue/data/WNLI.zip)包含855个句子对，其中第一个句子存在歧义，第二个句子给出其可能的解释，标签用于指示该解释是否正确（1为正确，0为错误）。

本数据集是针对[GLUE基准（GLUE Benchmark）](https://gluebenchmark.com/tasks)发布的Winograd自然语言推理数据集的专业西班牙语翻译版本。

原始数据集与本翻译版本均采用[知识共享署名4.0国际许可协议（Creative Commons Attribution 4.0 International License）](https://creativecommons.org/licenses/by/4.0/)进行授权。

**更新（2024-05-27）：** WNLI-ES的验证集划分曾存在标签反转问题，现已修复以匹配当前英文WNLI验证集划分（https://huggingface.co/datasets/nyu-mll/glue/viewer/wnli/validation）。

### 支持任务与基准榜

文本蕴涵、文本分类、语言模型。

### 语言

* 西班牙语（es）

## 数据集结构

### 数据实例

三个TSV文件。

### 数据字段

- index：索引
- sentence 1：句子对中的第一个句子
- sentence 2：句子对中的第二个句子
- label：两个句子间的关系：
* 0：第二个句子未构成对第一个句子的正确解释（中立）
* 1：第二个句子构成对第一个句子的正确解释（蕴涵）

### 数据划分

- wnli-train-es.csv：636个句子对
- wnli-dev-es.csv：72个句子对
- wnli-test-shuffled-es.csv：147个句子对

## 数据集创建

### 数据集构建初衷

我们翻译该数据集旨在推动西班牙语语言模型的发展。

### 源数据

- [GLUE基准官网（GLUE Benchmark site）](https://gluebenchmark.com)

#### 初始数据收集与标准化

本数据集是由[巴塞罗那超级计算中心文本挖掘单元（BSC TeMU）](https://temu.bsc.es/)在[Plan-TL计划（Plan-TL）](https://plantl.mineco.gob.es/Paginas/index.aspx)框架下委托完成的[WNLI数据集](https://cs.nyu.edu/~davise/papers/WinogradSchemas/WS.html)的专业西班牙语翻译版本。如需了解Winograd自然语言推理数据集的创建细节，请访问[《Winograd模式挑战》官网](https://cs.nyu.edu/~davise/papers/WinogradSchemas/WS.html)。

#### 源语言生产者是谁？

如需了解Winograd自然语言推理数据集的创建细节，请访问[《Winograd模式挑战》官网](https://cs.nyu.edu/~davise/papers/WinogradSchemas/WS.html)。

### 标注信息

#### 标注流程

我们委托专业机构完成了[WNLI数据集](https://cs.nyu.edu/~davise/papers/WinogradSchemas/WS.html)的西班牙语专业翻译。

#### 标注者是谁？

翻译工作委托给了专业翻译机构。

### 个人与敏感信息

未包含任何个人或敏感信息。

## 数据使用注意事项

### 数据集的社会影响

本数据集有助于推动西班牙语语言模型的发展。

### 偏差讨论

[无]

### 其他已知局限

[无]

## 附加信息

### 数据集策展人

巴塞罗那超级计算中心文本挖掘单元（TeMU）（[e-mail]）。

如需进一步信息，请发送邮件至[e-mail]。

本项目由[西班牙数字化与人工智能国务秘书处（SEDIA）](https://avancedigital.mineco.gob.es/en-us/Paginas/index.aspx)在Plan-TL计划框架下资助。

### 许可信息

本作品采用[知识共享署名4.0国际许可协议（CC Attribution 4.0 International）](https://creativecommons.org/licenses/by/4.0/)进行授权。

版权归西班牙数字化与人工智能国务秘书处（SEDIA）所有（2022）

### 贡献信息

[无]

原始信息汇总

WNLI-es 数据集概述

数据集描述

数据集总结

WNLI-es 数据集是 Winograd NLI 数据集的专业西班牙语翻译版本，包含 855 个句子对，每个句子对中的第一个句子包含一个歧义，第二个句子提供一个可能的解释，标签指示该解释是否正确（1 表示正确，0 表示不正确）。该数据集旨在促进西班牙语语言模型的发展。

支持的任务和排行榜

• 文本蕴含
• 文本分类
• 语言模型

语言

• 西班牙语 (es)

数据集结构

数据实例

数据集包含三个 tsv 文件。

数据字段

• index
• sentence 1: 句子对中的第一个句子
• sentence 2: 句子对中的第二个句子
• label: 两个句子之间的关系
  • 0: 第二个句子不提供第一个句子的正确解释（中性）
  • 1: 第二个句子提供第一个句子的正确解释（蕴含）

数据分割

• wnli-train-es.csv: 636 个句子对
• wnli-dev-es.csv: 72 个句子对
• wnli-test-shuffled-es.csv: 147 个句子对

数据集创建

精选理由

数据集的翻译旨在为西班牙语语言模型的发展做出贡献。

源数据

数据集是 WNLI 数据集的专业西班牙语翻译，由 BSC TeMU 在 Plan-TL 框架内委托进行。

注释

注释过程

数据集的西班牙语翻译由专业翻译机构完成。

注释者

翻译工作由专业翻译机构执行。

个人和敏感信息

数据集中不包含个人或敏感信息。

搜集汇总

数据集介绍

构建方式

WNLI-es数据集的构建源于对自然语言理解中常识推理能力的探索，其基础是经典的Winograd模式挑战。该数据集由西班牙巴塞罗那超级计算中心的文本挖掘单元（TeMU）在Plan-TL框架下发起，通过对原始英文GLUE基准中的Winograd NLI数据集进行专业翻译而成。翻译工作委托给专业翻译机构完成，确保了语言转换的准确性与地道性。数据集包含855个句子对，每个对由两个句子组成，第一个句子蕴含歧义，第二个句子提供一种可能的解释，标注则指示该解释是否正确（1表示正确，0表示不正确）。数据被划分为训练集（636对）、开发集（72对）和测试集（147对），并以TSV格式存储。值得注意的是，开发集曾存在标签反转的问题，已于2024年5月修复以对齐英文原版。整个数据集采用CC-BY-4.0许可证，旨在为西班牙语语言模型的开发提供支持。

使用方法

使用WNLI-es数据集时，研究人员可将其应用于文本分类或自然语言推理任务，通过加载TSV文件中的句子对及对应标签进行模型训练。具体而言，模型需以第一个句子和第二个句子作为输入，输出一个二分类结果（0或1），以判断两者间的蕴含关系。该数据集可与HuggingFace的datasets库无缝集成，通过指定数据路径和划分名称（如'train'、'validation'、'test'）直接加载。在训练过程中，建议采用预训练西班牙语语言模型（如BERT-based或RoBERTa-based模型）进行微调，以充分利用其语言理解能力。由于测试集标签未公开，评估时需将模型预测结果提交至相关基准平台或自行划分验证集进行性能度量。此外，研究人员应留意开发集的历史标签修正问题，确保使用最新版本数据以获得准确结果。

背景与挑战

背景概述

PlanTL-GOB-ES/wnli-es 数据集诞生于自然语言推理（NLI）领域对多语言能力日益增长的需求。该数据集由巴塞罗那超级计算中心（BSC）的文本挖掘单元（TeMU）于2022年创建，核心研究问题在于评估西班牙语模型在理解代词指代消解与常识推理方面的表现。作为经典Winograd模式挑战的西语版本，它源自GLUE基准中的WNLI子集，通过专业翻译团队精心译制而成。该数据集不仅填补了西班牙语在细粒度语义推理任务中的空白，更推动了低资源语言的自然语言理解研究，其影响力体现在为西语预训练语言模型提供了标准化评测基准，促进了多语言NLP技术的均衡发展。

当前挑战

该数据集面临的挑战主要集中于两方面。在领域问题层面，Winograd模式本身要求模型具备世界知识与逻辑推理能力，而西班牙语中丰富的形态变化和语序灵活性加剧了歧义消解的难度，使得模型难以仅依赖表层统计特征做出正确判断。在构建过程中，原始英文WNLI数据集的标签不一致问题（如验证集标签反转）被继承至西语版本，虽经2024年更新修复，但翻译过程中语义等价性的保真度仍是潜在挑战，例如文化特定表达与习语的跨语言映射可能引入细微偏差，影响标注准确性与任务评估的可靠性。

常用场景

经典使用场景

WNLI-es数据集是经典的Winograd NLI语料的西班牙语专业翻译版本，专注于文本蕴含识别任务。在自然语言理解研究中，该数据集被广泛用于评估模型对代词指代消解和常识推理的掌握能力，其核心挑战在于判断给定句子对中第二句是否构成对第一句歧义的合理解释，这要求模型具备超越表面语义的世界知识。研究者常将其作为西班牙语语言模型推理能力的基准测试，通过对比模型在蕴含与中立标签上的预测表现，来度量其语义理解深度。

解决学术问题

该数据集主要解决了西班牙语自然语言推理研究中高质量标注数据匮乏的学术困境。Winograd模式本身蕴含的歧义消解难题，为探究机器常识推理提供了精妙的实验范式，而WNLI-es的引入使得这一经典挑战得以在西班牙语语境下系统开展。它帮助学界检验多语言模型在跨语言迁移中的推理一致性，揭示模型在处理与英语不同语法结构时的能力边界，从而推动对语言无关性语义表征理论的深入理解。

实际应用

在实际应用中，WNLI-es数据集为西班牙语智能问答系统、对话机器人和文本理解引擎的研发提供了关键验证材料。通过在该数据集上微调模型，能够提升系统对用户意图中隐含歧义的解析精度，例如在客服场景中准确判断用户问题中的指代关系。此外，它还可用于优化机器翻译系统的上下文感知能力，确保译文中代词的指代清晰无误，从而改善跨语言信息处理的最终质量。

数据集最近研究

最新研究方向

在自然语言处理领域，针对西班牙语的常识推理与文本蕴含研究正逐步深化，WNLI-es数据集作为专业翻译的西班牙语Winograd NLI语料库，为多语言模型的鲁棒性评估提供了关键基准。当前前沿方向聚焦于利用该数据集检验预训练语言模型在跨语言语境下处理歧义消解与常识推理的能力，尤其关注模型在西班牙语中能否像在英语中一样准确捕捉隐式世界知识。近期热点事件包括对WNLI-es验证集标签错误的修正（2024年5月），这一调整显著提升了评估的可靠性，并推动了西班牙语NLP社区对数据集质量与标注一致性的重视。该数据集的意义在于填补了西班牙语在GLUE基准测试中的空白，促进了面向资源较少语言的模型公平性研究，同时为构建更通用的多语言推理系统奠定了数据基础。