coref-data/davis_wsc_raw

原始的Winograd Schema Challenge (WSC)由Ernest Davis主持，最初包含136个模式，生成273个问题，后来扩展到150个模式，生成285个问题。Winograd模式是一对仅在几个词上不同的句子，包含一个歧义，该歧义在两个句子中以相反的方式解决，需要世界知识和推理来解决。每个实例包含一个文本段落、一个指定的代词和两个可能的答案，用于指示代词在段落中代表的实体。

原始信息汇总

数据集描述

数据集概述

原始的Winograd Schema Challenge (WSC)包含136个模式，产生273个问题。后来扩展到150个模式，产生285个问题。

Winograd模式是一对句子，它们只在单个或两个单词上有所不同，并且包含一个在两个句子中以相反方式解决的歧义，需要使用世界知识和推理来解决。

数据集结构

数据实例

每个实例包含一个带有指定代词的文本段落和两个可能的答案，指示代词在段落中代表的实体。示例实例如下：

python { label: 0, options: [The city councilmen, The demonstrators], pronoun: they, pronoun_loc: 63, quote: they feared violence, quote_loc: 63, source: (Winograd 1972), text: The city councilmen refused the demonstrators a permit because they feared violence. }

数据字段

• text (str): 文本序列
• options (list[str]): 代词可能指代的两个实体选项
• label (int): options字段中正确选项的索引
• pronoun (str): 序列中待解决的代词
• pronoun_loc (int): 代词在序列中的起始位置
• quote (str): 包含代词的关键动作或上下文的子字符串
• quote_loc (int): 引文在序列中的起始位置
• source (str): 贡献示例的来源描述

许可信息

该工作根据Creative Commons Attribution 4.0 International License进行许可。

引用信息

Winograd Schema Challenge及其中的许多示例由Levesque等人于2012年提出：

@inproceedings{levesque2012winograd, title={The winograd schema challenge}, author={Levesque, Hector and Davis, Ernest and Morgenstern, Leora}, booktitle={Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning}, year={2012}, organization={Citeseer} }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，指代消解任务旨在识别文本中代词所指代的实体。Davis WSC Raw数据集基于经典的Winograd Schema Challenge构建，其核心在于通过精心设计的模式对生成文本对。每个模式包含两个仅在关键词语上存在差异的句子，这些差异导致代词指代的对象截然不同。数据收集过程依赖于语言学专家手工编纂，确保每个实例均蕴含需要世界知识和逻辑推理才能解决的歧义。原始版本包含136个模式，衍生出273个问题，后续扩展至150个模式对应285个问题，所有实例均标注了正确的指代实体及其在文本中的位置信息。

特点

该数据集以其独特的语言学结构著称，每个实例均呈现为一种Winograd模式，即两个句子仅在个别词汇上存在差异，却导致代词指代完全不同的实体。这种设计迫使模型必须依赖深层的世界知识和上下文推理，而非表面词汇匹配，来解析歧义。数据字段设计详尽，包括原始文本、候选实体选项、正确标签索引、目标代词及其位置、关键上下文引用段和来源标注，为模型提供了丰富的结构化信息。其规模虽小，但问题质量高，挑战性强，成为评估机器常识推理能力的经典基准。

使用方法

该数据集主要用于评估模型在指代消解任务上的性能，特别是检验其常识推理能力。典型的使用方法是将数据集加载后，模型需要根据给定的文本、代词以及两个候选实体，预测代词所指代的正确实体索引。研究人员通常在此数据集上对预训练语言模型进行微调或直接进行零样本、少样本评估，以衡量模型对细微语言差异和世界知识的理解深度。由于数据集提供精确的代词和引用位置，也便于进行更细致的注意力机制或解释性分析。使用时应遵循CC BY 4.0许可协议，并在相关研究中引用原始论文。

背景与挑战

背景概述

Winograd Schema Challenge（WSC）数据集由Hector Levesque、Ernest Davis和Leora Morgenstern于2012年提出，旨在评估机器对自然语言的理解能力，特别是代词消解任务。该数据集的核心研究问题聚焦于测试模型是否具备类似人类的常识推理与世界知识，而非依赖表面的语言统计规律。其最初版本包含273个问题，后扩展至285个，每个问题均由一对仅在关键词语上存在差异的句子构成，要求模型根据上下文推断代词的指代对象。WSC自诞生以来，对自然语言处理领域产生了深远影响，推动了常识推理研究的发展，成为衡量人工智能理解能力的重要基准之一。

当前挑战

WSC数据集所解决的核心领域问题是代词消解，其挑战在于要求模型超越浅层的语言模式，深入整合世界知识与逻辑推理能力。具体而言，模型必须准确理解句子中的微妙语义差异，并依据常识判断代词的指代实体，这对缺乏真实世界经验的算法构成了显著障碍。在数据集构建过程中，研究人员面临的主要挑战包括设计高质量的模式对，确保每对句子仅通过一两个词语的替换就能改变代词指代，同时避免引入语言偏见或统计线索。此外，收集足够多样且依赖复杂常识的例句，并确保其标注的准确性与一致性，亦是构建过程中的关键难题。

常用场景

经典使用场景

在自然语言理解领域，Winograd Schema Challenge（WSC）数据集作为评估机器常识推理能力的基准工具，其经典使用场景聚焦于代词消解任务。该数据集通过精心设计的句子对，要求模型依据隐含的世界知识和逻辑推断，准确识别代词所指代的实体。这种设计巧妙避免了单纯依赖表面语言模式的取巧行为，迫使模型深入理解语境中的因果、意图等深层语义关系，从而检验其是否具备接近人类的推理水平。

衍生相关工作

WSC数据集的提出，催生了一系列围绕常识推理的经典研究工作。早期研究如《Knowledge Hunting for Solving Winograd Schema》探索了显式知识库的利用。随后，基于大规模预训练语言模型（如BERT、GPT系列）的方法成为主流，通过微调或在提示工程中融入推理步骤来提升性能。更进一步的，像SuperGLUE这样的综合评测基准将WSC纳入其中，推动了模型通用能力的对比。近期，结合外部知识图谱或链式思维（Chain-of-Thought）提示的混合方法，继续推动着该挑战的解决边界。

数据集最近研究

最新研究方向

在自然语言理解领域，Winograd Schema Challenge（WSC）数据集作为评估机器常识推理能力的经典基准，持续推动着前沿研究的发展。近期研究聚焦于利用大规模预训练语言模型，如GPT系列和BERT变体，通过微调与提示工程提升代词消解性能。探索模型如何融合外部知识库与多模态信息，以增强对隐含世界知识的理解，成为热点方向。相关研究进一步关注模型的鲁棒性与可解释性，旨在揭示深层推理机制，对推动人工智能向人类级语境理解迈进具有深远意义。