coref-data/mwsc_raw

Modified Winograd Schema Challenge (MWSC)是一个经过修改的数据集，源自Winograd Schema Challenge，确保答案为上下文中的单个单词。该数据集旨在测试在句子中解析指代歧义的能力，包含句子、问题、选项和答案等数据字段。数据集遵循Creative Commons Attribution 4.0 International License，并提供了详细的引用信息。

原始信息汇总

The Modified Winograd Schema Challenge (MWSC)

数据集描述

• 下载的数据集文件大小： 19.20 kB
• 生成的数据集大小： 39.35 kB
• 总磁盘使用量： 58.55 kB

数据集概述

该数据集是从Winograd Schema Challenge修改而来的示例，确保答案是上下文中的一个单词。这种修改后的Winograd Schema Challenge（MWSC）确保了评分既不会因措辞的古怪而膨胀，也不会因此而降低。

数据集结构

数据实例

默认

• 下载的数据集文件大小： 0.02 MB
• 生成的数据集大小： 0.04 MB
• 总磁盘使用量： 0.06 MB

一个示例如下： json { "sentence": "The city councilmen refused the demonstrators a permit because they feared violence.", "question": "Who feared violence?", "options": [ "councilmen", "demonstrators" ], "answer": "councilmen" }

数据字段

所有拆分中的数据字段相同。

默认

• sentence：一个string特征。
• question：一个string特征。
• options：一个list的string特征。
• answer：一个string特征。

数据拆分

名称	训练集	验证集	测试集
默认	80	82	100

许可信息

我们的decaNLP代码已根据BSD-3-Clause开源。

我们选择将decaNLP限制在免费且公开可访问的研究数据集上，但如果您偏离此用例，应检查它们的个别条款。

从Winograd Schema Challenge：

这两个版本的集合均根据Creative Commons Attribution 4.0 International License进行许可。

引用信息

如果您在工作中使用此数据集，请引用： bibtex @inproceedings{10.5555/3031843.3031909, author = {Levesque, Hector J. and Davis, Ernest and Morgenstern, Leora}, title = {The Winograd Schema Challenge}, year = {2012}, isbn = {9781577355601}, publisher = {AAAI Press}, booktitle = {Proceedings of the Thirteenth International Conference on Principles of Knowledge Representation and Reasoning}, pages = {552–561}, numpages = {10}, location = {Rome, Italy}, series = {KR12} }

@article{McCann2018decaNLP, title={The Natural Language Decathlon: Multitask Learning as Question Answering}, author={Bryan McCann and Nitish Shirish Keskar and Caiming Xiong and Richard Socher}, journal={arXiv preprint arXiv:1806.08730}, year={2018} }

搜集汇总

数据集介绍

构建方式

在自然语言处理的广阔领域中，指代消解一直是衡量机器语义理解能力的关键试金石。Modified Winograd Schema Challenge（MWSC）数据集正是基于经典的Winograd Schema Challenge进行精心改良的产物。其构建方式旨在规避原始挑战中因措辞奇异而导致的评分偏差，确保评估结果的纯净与公允。具体而言，研究人员从原始Winograd Schema Challenge中筛选出样例，并对其进行了系统性的修改，核心目标在于保证每个问题的答案均为上下文中的一个独立单词。这一过程通过重新设计歧义句对与提问方式实现，使得模型必须依赖对语境中代词与先行词关系的精准捕捉才能给出正确答案，从而更纯粹地考察机器的常识推理与语言理解能力。

特点

该数据集最显著的特点在于其精巧的结构与严谨的评估导向。每个数据实例均由四个核心字段构成：一个包含歧义代词指代的完整句子、一个针对该歧义点的明确问题、两个候选答案选项以及标准答案。这种设计迫使模型在有限的上下文窗口中完成复杂的推理任务，而非依赖统计捷径。数据集规模虽小，却高度浓缩，共包含262个样本，被划分为训练集（80例）、验证集（82例）和测试集（100例），这种划分既保证了模型训练的基本需求，又为不同阶段的评估提供了独立基准。此外，所有数据均遵循CC-BY-4.0许可协议，为学术研究提供了开放且规范的使用环境。

使用方法

在使用该数据集时，研究人员可将其视为一个经典的指代消解基准任务，无缝集成到多任务学习或问答系统的训练框架中。具体操作上，数据以JSON格式呈现，每条记录包含`sentence`、`question`、`options`和`answer`字段，便于直接加载和解析。模型的输入可以构造为将`sentence`与`question`拼接成一段语境文本，输出则要求从`options`列表中选出唯一正确的单词。得益于其源自decaNLP项目，该数据集天然支持作为问答子任务参与多任务联合训练。评估指标通常采用准确率，即模型在测试集上正确回答问题的比例，以此衡量其在常识推理与代词消解方面的综合性能。

背景与挑战

背景概述

核心指代消解（Coreference Resolution）是自然语言处理领域一项基础而艰巨的任务，旨在识别文本中指向同一实体的不同表述。为深入探究机器在常识推理与语境理解上的局限，Levesque等人于2012年提出了Winograd Schema Challenge（WSC），通过设计精巧的歧义句对来考验模型。然而，原始WSC中部分答案并非单一词汇，可能引入评估偏差。为此，Salesforce研究院的Bryan McCann与Nitish Shirish Keskar等人在2018年发布的The Natural Language Decathlon（decaNLP）项目中，对WSC进行了系统性改造，推出了Modified Winograd Schema Challenge（MWSC）。该数据集通过精心调整，确保所有答案均为上下文中的单个词汇，从而更精确地衡量模型在代词消歧任务上的真实能力，为多任务学习框架下的问答研究提供了标准化评测基准。

当前挑战

MWSC所应对的核心领域挑战在于，传统的指代消解方法常依赖浅层统计特征或词汇共现模式，难以捕捉句子深层语义与常识知识，导致在处理涉及世界知识或逻辑推理的歧义句时表现不佳。例如，模型需理解“市议员拒绝示威者，因为他们害怕暴力”中“他们”指代的是“市议员”而非“示威者”，这要求模型具备对权力关系与社会情境的认知。在数据集构建过程中，挑战在于对原始WSC实例进行严格筛选与改写，既要消除多词答案带来的评分模糊性，又要保留原句中微妙的语义歧义与反例设计，确保修改后的句子依然自然且能有效区分人类与机器的推理能力。此外，MWSC规模较小（仅262个样本），限制了深度学习模型的有效训练与泛化评估，亟需结合更大规模的数据增强或迁移学习策略来克服此瓶颈。

常用场景

经典使用场景

Modified Winograd Schema Challenge（MWSC）数据集是自然语言处理领域中用于评估机器常识推理能力的经典基准。其核心任务是基于给定的上下文句子和代词指代问题，从两个候选实体中选出正确答案。该数据集对原始Winograd Schema Challenge进行了精炼修改，确保答案始终是上下文中的一个单词，从而消除了因措辞奇异而导致的评分偏差。MWSC被广泛用于测试语言模型在理解代词指代、消解歧义以及运用常识知识方面的表现，是衡量模型是否具备类人推理能力的重要标尺。

实际应用

在实际应用中，MWSC所代表的指代消解与常识推理能力对于构建真正智能的对话系统、智能助理和问答系统至关重要。例如，在个人助理处理用户指令时，正确理解“它”或“他们”所指代的对象，是准确执行任务的前提。该数据集训练和评估的技术可应用于智能客服、文档理解、信息抽取等场景，帮助机器在复杂语境中做出符合人类常识的决策，提升人机交互的自然度和可靠性。

衍生相关工作

MWSC数据集衍生了多项经典工作。最著名的当属decaNLP（The Natural Language Decathlon），该工作将MWSC作为多任务学习的一部分，统一了包括问答、翻译、摘要在内的十项自然语言任务。此外，MWSC常被用作评估预训练语言模型（如BERT、GPT系列）常识推理能力的基准，催生了诸如WinoGrande等更大规模的挑战数据集。这些衍进工作共同推动了从简单模式匹配到深度语义理解的研究范式转变。