WinoWhy

WinoWhy数据集提出了一个新颖的任务，即阐明代词指代关系。它要求模型从给定的选项中选择正确的理由，来解释某个代词所指代的特定名词。作为WSC（Winograd Schema Challenge）的扩展，WinoWhy数据集包含了原始WSC数据集的数据，并额外增加了4095个构建的代词指代理由。The WinoWhy dataset introduces a novel task of elucidating pronoun reference relationships. It necessitates the model to select the correct rationale from given options to explain the specific noun referenced by a pronoun. As an extension of the WSC (Winograd Schema Challenge), the WinoWhy dataset includes data from the original WSC dataset and also adds an additional 4095 constructed pronoun reference rationales.

原始信息汇总

WinoWhy数据集概述

数据集简介

• 来源：ACL 2020论文《WinoWhy: A Deep Diagnosis of Essential Commonsense Knowledge for Answering Winograd Schema Challenge》
• 内容：包含原始Winograd Schema Challenge (WSC)数据集及4095条WinoWhy理由（每条WSC问题对应15条理由）
• 理由来源：
  1. Human：人工提供的理由
  2. Human Reverse：针对配对WSC问题的人工理由
  3. Generation Model：GPT-2生成的模型理由

数据类型

• 知识类别：
  • Property (32)：关于对象属性的知识
  • Object (82)：关于对象的知识
  • Eventuality (88)：关于事件的知识
  • Spatial (64)：关于空间位置的知识
  • Quantity (20)：关于数字的知识
  • Others (48)：其他知识

数据格式

• winowhy.json：
  • WSC问题列表（273条）
    • 每条问题包含：
      • 文本结构（txt1, pron, txt2）
      • 候选答案列表
      • 正确答案（A或B）
      • 来源信息
      • WinoWhy理由列表（每条理由包含文本、来源、合理性、标签）
• cat_ref.json：
  • 知识类别与对应WSC问题索引的字典

模型性能

• 无监督模型：通过连接问题和理由形成单句进行概率预测
• 有监督模型：作为二分类问题处理（区分有效/无效理由）

引用格式

bibtex @inproceedings{zhang2020WinoWhy, author = {Hongming Zhang and Xinran Zhao and Yangqiu Song}, title = {WinoWhy: A Deep Diagnosis of Essential Commonsense Knowledge for Answering Winograd Schema Challenge}, booktitle = {Proceedings of Annual Meeting of the Association for Computational Linguistics (ACL) 2020}, year = {2020} }

搜集汇总

数据集介绍

构建方式

WinoWhy数据集的构建过程融合了多方资源，包括人类提供的解释、人类对配对问题的反向解释以及通过GPT-2生成的解释。每种来源为每个Winograd Schema Challenge（WSC）问题提供了五条解释，共计4095条解释。这些解释随后被用于分类解决WSC问题所需的常识知识类型，如属性、对象、事件、空间、数量等。

特点

WinoWhy数据集的特点在于其丰富的解释来源和详细的常识知识分类。每条解释不仅标注了来源（人类、GPT-2、反向解释），还评估了其合理性和有效性。此外，数据集还提供了对WSC问题的详细分类，帮助研究者深入理解解决这些问题所需的常识知识类型。

使用方法

使用WinoWhy数据集时，研究者可以将问题和解释连接成完整句子，输入模型以获取预测概率。此外，数据集还可用于监督学习，通过区分有效和无效解释来进行二元分类。代码实现和预处理数据集均可在GitHub仓库中找到，便于研究者快速上手和复现实验结果。

背景与挑战

背景概述

WinoWhy数据集由香港科技大学的研究团队于2020年创建，旨在深入分析Winograd Schema Challenge（WSC）中的核心常识推理问题。该数据集不仅包含了原始的WSC问题，还提供了4095条解释性理由，涵盖了人类、人类反向以及生成模型三种来源。这些理由用于揭示解决WSC问题所需的常识知识类型，如属性、对象、事件、空间、数量等。WinoWhy的发布为自然语言处理领域中的常识推理研究提供了重要的数据支持，推动了模型在复杂语境下的推理能力提升。

当前挑战

WinoWhy数据集面临的挑战主要体现在两个方面。首先，WSC问题本身要求模型具备深层次的常识推理能力，而常识知识的多样性和复杂性使得模型难以准确捕捉并应用这些知识。其次，在数据集的构建过程中，如何确保解释性理由的多样性和合理性是一个关键挑战。尽管数据集提供了来自人类和生成模型的多源理由，但这些理由的质量和一致性仍需进一步验证。此外，如何有效利用这些理由进行模型训练和评估，尤其是在无监督和有监督学习场景下的性能优化，也是当前研究中的难点。

常用场景

经典使用场景

WinoWhy数据集在自然语言处理领域中被广泛应用于代词消解任务的研究。通过提供Winograd Schema Challenge（WSC）问题及其对应的解释，该数据集为研究者提供了一个深入分析代词消解所需常识知识的平台。经典的使用场景包括利用该数据集评估和提升模型在复杂语境下的推理能力，尤其是在需要依赖常识知识进行代词指代判断的任务中。

解决学术问题

WinoWhy数据集解决了自然语言处理中代词消解任务的核心难题，即如何依赖常识知识进行准确的代词指代判断。通过提供多种来源的解释（如人工、反向人工和生成模型），该数据集帮助研究者识别和理解解决WSC问题所需的常识知识类型，如属性、对象、事件、空间和数量等。这不仅推动了代词消解模型的发展，还为常识推理的研究提供了新的视角。

衍生相关工作

WinoWhy数据集衍生了许多相关的研究工作，特别是在常识推理和代词消解领域。例如，基于该数据集的研究提出了新的无监督和监督学习方法，以提升模型在代词消解任务中的表现。此外，该数据集还启发了对常识知识分类和推理机制的深入研究，推动了自然语言处理领域在常识推理方向上的进一步发展。