pakphum/winograd_th

该数据集是一个泰语Winograd Schemas的集合，源自Levesque等人提出的英文Winograd Schemas。数据集由两名专业翻译人员从英文翻译成泰语，并在翻译过程中进行了适应性调整以符合泰语语境。翻译后的数据集经过三名母语为泰语的验证者审查，确保翻译的准确性和清晰度。数据集包含285个测试样本，每个样本包含一个文本段落、一个指定的代词和两个可能的答案，用于指示代词所指的实体。数据集的结构包括多个字段，如问题编号、标签、代词、引用、来源、文本、选项、代词位置和引用位置。数据集的评估部分展示了不同模型在英文和泰语上的准确率对比。

This dataset is a collection of Thai Winograd Schemas, adapted from the original English Winograd Schemas proposed by Levesque et al. The dataset was translated from English to Thai by two professional translators, with adaptations made to suit the Thai context. The translated dataset was reviewed by three native Thai speakers to ensure accuracy and clarity. The dataset contains 285 test samples, each consisting of a text passage, a designated pronoun, and two possible answers indicating which entity the pronoun refers to. The dataset structure includes fields such as question number, label, pronoun, quote, source, text, options, pronoun location, and quote location. The evaluation section presents the accuracy of various models in both English and Thai.

原始信息汇总

数据集概述

数据集信息

• 语言: 泰语
• 许可证: CC-BY-4.0
• 任务类别: 多项选择

数据集特征

• qn: 问题编号，数据类型为 int64
• label: 正确选项的索引，数据类型为 int64
• pronoun: 代词，数据类型为 string
• quote: 包含关键动作或上下文的子字符串，数据类型为 string
• source: 贡献示例的来源描述，数据类型为 string
• text: 文本序列，数据类型为 string
• options: 代词可能指代的两实体选项，数据类型为 tuple[string]
• pronoun_loc: 代词在序列中的起始位置，数据类型为 int64
• quote_loc: 引文在序列中的起始位置，数据类型为 int64

数据分割

• test: 包含 285 个示例，数据大小为 108414 字节

数据集结构

数据实例

每个实例包含一个带有指定代词的文本段落和两个可能的答案，指示代词在段落中代表的实体。示例实例如下： python { qn: 0, label: 0, pronoun: พวกเขา, quote: พวกเขากลัวความรุนแรง, source: (Winograd 1972), text: สมาชิกสภาเทศบาลเมืองปฏิเสธใบอนุญาตผู้ชุมนุมเพราะพวกเขากลัวความรุนแรง, options: (สมาชิกสภาเทศบาลเมือง, ผู้ชุมนุม), pronoun_loc: 48, quote_loc: 48 }

数据字段

• qn: 问题编号，基于 winograd_wsc285
• label: options 字段中正确选项的索引
• pronoun: 需要解析的序列中的代词
• quote: 包含代词关键动作或上下文的子字符串
• source: 贡献示例的来源描述
• text: 文本序列
• options: 代词可能指代的两实体选项
• pronoun_loc: 代词在序列中的起始位置
• quote_loc: 引文在序列中的起始位置

数据集验证

数据集经过两名母语为泰语的专业翻译人员翻译，并由两名母语为泰语的验证人员进行最终调整，确保清晰性。数据集已公开，邀请其他母语为泰语的人士进行验证和建议调整。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，代词消解是一项极具挑战性的任务，而Winograd模式则是评估机器常识推理能力的经典基准。pakphum/winograd_th数据集是基于Levesque等人提出的英文Winograd模式，经由专业翻译人员精心本地化构建而成。两位母语为泰语且精通英语的译者参与了翻译工作：首先由一位译者完成前85句的试译，基于定性分析制定翻译指南后，再由第二位译者完成剩余200句的翻译。翻译过程中，译者根据指南将人名和语境适配为泰语表达，同时保留原始模式的歧义性与细微差别，并对不确定的翻译进行标注，以便后续验证环节重点关注。最终，三位母语泰语者审阅了所有翻译，根据反馈调整并修正了笔误，确保了数据集的质量与清晰度。

使用方法

该数据集专为多选问答任务设计，可直接通过HuggingFace的datasets库加载。研究者可调用load_dataset('pakphum/winograd_th')获取测试集，每个样本中的text字段包含待分析的泰语句子，options字段提供两个候选实体，模型需根据上下文推理出代词所指代的正确实体。评估时，可将模型输出的预测索引与label字段进行对比计算准确率。该数据集还适用于零样本或少样本学习场景，研究者可利用prompt工程将任务转化为生成式问答，要求模型从选项中选出正确答案。此外，pronoun_loc和quote_loc字段支持对代词位置和关键上下文的定位分析，便于开展消解机制的可解释性研究。

背景与挑战

背景概述

在自然语言处理领域，指代消解是一项核心任务，旨在准确识别文本中代词所指代的实体，而Winograd模式作为经典测试集，因其设计的歧义性对机器常识推理能力提出了严峻挑战。pakphum/winograd_th数据集由Phakphum Artkaew于纽约大学主导创建，于2024年发布，旨在将英语Winograd模式移植至泰语语境。该数据集包含285个测试样本，由两位母语为泰语的专业译者翻译，并经三位泰语母语者验证，确保了翻译的语义保真度和文化适应性。其核心研究问题在于评估多语言模型在泰语指代消解任务上的表现，实验表明，尽管顶尖模型如GPT-4在英语上准确率达93.68%，但在泰语上仅为72.28%，凸显了语言迁移的鸿沟。该数据集为泰语自然语言处理提供了稀缺的基准资源，推动了低资源语言常识推理研究的进展。

当前挑战

该数据集面临的挑战主要体现在两方面。在领域问题层面，Winograd模式旨在解决指代消解中的歧义性，要求模型具备常识推理能力以区分代词指代，而泰语作为低资源语言，现有模型（如Typhoon）的准确率仅54.04%，远低于人类水平，暴露出多语言模型在非英语环境下的鲁棒性不足。在构建过程中，挑战包括翻译时需保留原模式的语义歧义和文化适配，例如将英文人名如Paul改为泰语名Mana，同时确保代词指代关系不变；此外，验证环节需依赖少量母语者人工审查，难以覆盖所有潜在错误，且数据集规模仅285条，限制了模型训练的泛化能力，未来需扩展样本量以提升评估可靠性。

常用场景

经典使用场景

Winograd模式是自然语言处理领域中评估代词消解与常识推理能力的经典基准，而pakphum/winograd_th数据集将这一范式拓展至泰语语境。该数据集包含285个精心翻译与验证的泰语Winograd模式实例，每个实例均包含一个包含歧义代词的语言片段，以及两个潜在的指代选项。研究者可借助此数据集评估模型在泰语环境下对代词所指实体的判断能力，从而检验模型是否具备理解语言中隐含的常识与语义约束的深层能力。其设计保留了原始英语模式的歧义性与细微差别，并适配了泰语特有的命名与语境，为跨语言常识推理研究提供了关键资源。

解决学术问题

该数据集解决了泰语自然语言处理中缺乏高质量常识推理基准的核心问题。在学术研究层面，它填补了泰语在代词消解与常识推理评估方面的空白，使研究者能够系统性地比较不同模型在泰语与英语环境下的表现差异。通过对比实验（如表中所示），揭示了当前主流模型（如GPT-4、Claude-3等）在泰语任务上的性能显著低于英语，凸显了语言特异性对模型推理能力的挑战。这一发现推动了多语言常识推理研究的深化，促使学界关注模型在低资源语言中的泛化能力，并为改进跨语言迁移学习策略提供了实证基础。

实际应用

在实际应用中，该数据集直接服务于泰语智能系统的核心功能优化。例如，在泰语对话系统、智能客服与机器翻译场景中，准确理解代词指代是避免歧义与误解的关键。通过在此数据集上训练的模型，能够更精准地解析用户输入中的指代关系，提升交互的自然度与准确性。此外，该数据集还可用于泰语文本摘要、信息抽取及智能检索系统，帮助系统在复杂语境中正确关联实体与事件，从而增强对泰语长文本的语义理解能力，推动泰语AI应用从简单模式匹配向深层语义推理的演进。

数据集最近研究

最新研究方向

在自然语言处理领域，代词消解任务长期被视为评估机器常识推理能力的试金石。泰语Winograd数据集pakphum/winograd_th的构建，填补了高资源语言与低资源语言在指代消解基准上的鸿沟，其285条精心翻译与校验的样本，通过保留原英文方案中的歧义性与文化适应性调整，为跨语言常识推理研究提供了关键评估工具。当前前沿方向聚焦于多语言大语言模型在泰语上的表现退化现象——如Claude-3-Opus在英语准确率达92.63%而泰语仅77.54%的显著差距，揭示了模型在低资源语言上细微语义理解能力的脆弱性。该数据集与近期多语言评估热潮紧密相关，为探究模型在形态丰富语言中的代词消解机制、文化语境迁移学习以及低资源语言公平性基准建设提供了实证基础，其公开验证机制更推动了社区驱动的质量保障范式，对构建真正通用的自然语言理解系统具有里程碑意义。