NYTK/HuWNLI

HuWNLI数据集是Winograd模式任务的匈牙利语翻译版本，属于匈牙利语言理解评估基准工具包（HuLU）的一部分。该数据集通过翻译和人工校对原始英语Winograd模式创建，支持指代消解任务，并且是单语种数据集，仅包含匈牙利语数据。

The HuWNLI dataset is a Hungarian-language translation of the Winograd Schema Task, and forms a component of the Hungarian Language Understanding Evaluation Benchmark Toolkit (HuLU). This dataset is developed by translating and manually proofreading the original English Winograd Schema dataset, supports coreference resolution tasks, and is a monolingual dataset that only contains Hungarian-language data.

原始信息汇总

数据集概述

数据集名称

• 名称: HuWNLI

数据集描述

• 描述: HuWNLI是匈牙利语的Winograd模式数据集，格式化为推理任务。每个实例包含一个orig_id、一个id、两个句子和一个标签。

语言

• 语言: 匈牙利语（hu-HU）

许可

• 许可: 知识共享署名-相同方式共享4.0国际许可（cc-by-sa-4.0）

数据集结构

• 数据实例: 每个实例包含orig_id、id、sentence1、sentence2和label。
• 数据字段: 包括orig_id、id、sentence1、sentence2和label（1表示sentence2由sentence1推断出，0表示否则）。
• 数据分割: 训练集（562个实例）、开发集（59个实例）和测试集（134个实例）。

数据集创建

• 源数据: 数据是英语Winograd模式和GLUE的WNLI额外句对的翻译。
• 注释: 每个模式由语言学专家手动校对，并由语言学专家转换为nli格式。

使用数据集的考虑

• 平均人类性能: 测试集上的准确率为92.78%。

附加信息

• 许可证信息: HuWNLI根据知识共享署名-相同方式共享4.0国际许可发布。
• 引用信息: 使用此资源或其任何部分文档时，请参考Ligeti-Nagy等人的出版物。

搜集汇总

数据集介绍

构建方式

HuWNLI数据集是基于英文Winograd Schemata及GLUE中WNLI数据集进行匈牙利语翻译与人工精校构建而成。原始英文数据由专业译者完成翻译，随后经语言学专家逐条审校以确保语义准确。在此基础上，研究者将原模式中的歧义代词替换为可能的指代对象，从而转化为自然语言推理（NLI）格式。此外，数据集还补充了GLUE WNLI中未包含的6个Winograd模式对应的匈牙利语翻译句对，以增强训练集与开发集的覆盖范围。测试集则由GLUE WNLI测试集的翻译版本构成，并由三名标注者独立标注，最终以无标签形式发布以供评估。

特点

该数据集专注于匈牙利语的共指消解与自然语言推理任务，其核心特点在于通过Winograd模式评估模型对世界知识与推理能力的掌握。数据实例包含前提（sentence1）与假设（sentence2）两个句子，以及二值标签（1表示蕴含，0表示不蕴含）。数据集划分为训练集（562条）、开发集（59条）和测试集（134条），其中训练与开发集在翻译过程中剔除了无法适配匈牙利语的句对，并进行了针对性扩展。值得关注的是，研究者在适配过程中发现并纠正了GLUE WNLI训练集中的两处标签错误，进一步提升了数据质量。测试集上的人类平均准确率达92.78%，凸显了任务的挑战性。

使用方法

使用HuWNLI数据集时，用户可直接通过HuggingFace Datasets库加载数据，每个实例包含orig_id、id、sentence1、sentence2和label字段。模型需根据前提与假设判断语义蕴含关系，输出二分类结果。由于测试集未公开标签，用户需通过联系数据集维护者或利用HuLU基准平台的自动评估功能（尚在建设中）获取评分。该数据集适用于评估匈牙利语语言模型在推理任务上的表现，尤其适合检验模型处理歧义与基于常识进行推理的能力。推荐在引用时参考相关学术论文，并遵循CC-BY-SA-4.0许可协议。

背景与挑战

背景概述

在自然语言处理领域，共指消解与常识推理能力是衡量语言模型智能水平的关键试金石。Winograd Schema Challenge作为一项经典测试，通过设计句法相似但语义歧义指向相反的句子对，要求模型借助世界知识与逻辑推理破解指代难题。匈牙利科学院计算与自动化研究所（SZTAKI）的研究团队于2023年发布了HuWNLI数据集，由Ligeti-Nagy Noémi等人主导构建，旨在将这一挑战拓展至匈牙利语场景。该数据集源自GLUE基准中的WNLI任务，通过人工翻译与语言学专家精细校订，将英文Winograd模式转化为匈牙利语蕴含推理格式。作为匈牙利语言理解评估工具包HuLU的核心组件，HuWNLI填补了非英语资源匮乏的空白，为评估匈牙利语神经语言模型的语义推理能力提供了标准化测试平台。

当前挑战

HuWNLI所面临的挑战首先体现在领域问题层面：Winograd Schema的解决要求模型超越表面句法匹配，具备基于常识的深层语义推理能力。匈牙利语作为黏着语，其丰富的形态变化与自由语序使得歧义消解比英语更为复杂，例如代词与先行词之间的格标记一致性可能干扰模型判断。在数据集构建过程中，团队遭遇了显著的语言适配障碍：大量英文Winograd句子对因文化特异性或语法结构差异无法直译，导致最终数据集规模（训练集562例）较原始WNLI缩减近半。此外，人工翻译与专家校订虽保证了标注质量，但测试集仍需通过联系作者提交模型预测结果进行评测，这种半封闭评估机制限制了数据集的易用性与研究可复现性。

常用场景

经典使用场景

HuWNLI数据集的核心应用场景在于为匈牙利语自然语言理解模型提供一项精细化的指代消解与常识推理评测基准。该数据集将经典的Winograd句式转化为蕴含推理任务，通过构建一对仅在代词指代上存在歧义的句子，要求模型依据世界知识和逻辑判断来辨别前提与假设间的蕴含关系。这一设计不仅考察模型对匈牙利语句法结构的理解，更深入衡量其借助非语言常识进行语义消歧的能力，成为评估匈牙利语神经语言模型在复杂推理任务上表现的重要标尺。

实际应用

在实际应用中，HuWNLI可被部署于匈牙利语的智能问答系统、对话代理及文本理解平台中，用以检验和提升机器在真实场景下处理代词歧义的能力。例如，在匈牙利语客户服务机器人或信息检索工具中，模型需准确解析类似“A férfi nem tudta felemelni a fiát, mert olyan nehéz volt.”（男人无法举起他的儿子，因为他太重了）这样的句子，判断“nehéz”究竟指代父亲还是儿子。该数据集为这类应用的模型训练与评估提供了标准化的测试环境。

衍生相关工作

基于HuWNLI，研究者衍生出多项重要工作。首先，它作为匈牙利语言理解评测工具包HuLU的核心组件之一，与其他数据集共同构建了多任务评估体系。其次，该数据集的创建方法——将Winograd句式转化为蕴含推理格式——为其他低资源语言的类似数据集构建提供了方法论参考。此外，研究人员在适配过程中发现了GLUE WNLI原始数据集中的两处标签错误并予以修正，这一发现促进了英语评测基准的完善，体现了跨语言数据集建设对源语言研究的反哺价值。