lasha-nlp/CONDAQA

CondaQA是一个用于推理否定语句的对比阅读理解数据集，旨在促进未来模型在处理否定语句方面的有效发展。这是第一个需要推理段落中否定语句含义的英文阅读理解数据集。数据集包含14,182个问答对，涵盖了200多种独特的否定提示。通过众包方式，数据集的段落经过了三种编辑：否定语句的改写、否定范围的修改以及否定语句的反转，从而形成了一组难以通过虚假线索回答的问答对。数据集的结构包括原始段落、编辑后的段落、问题及其答案，数据字段包括QuestionID、original cue、PassageEditID、original passage、SampleID、label、original sentence、sentence2、PassageID和sentence1。数据集的任务是回答包含否定语句的维基百科段落中的问题，目前没有官方排行榜。CondaQA is a contrastive reading comprehension dataset designed for reasoning over negated statements, with the goal of advancing the effective development of future models in handling negated linguistic expressions. This is the first English reading comprehension dataset that necessitates reasoning over the meaning of negated statements within textual passages. The dataset comprises 14,182 question-answer pairs, covering more than 200 distinct negation cues. Through crowdsourcing, the passages in the dataset have been subjected to three types of editorial modifications: paraphrasing of negated statements, adjustment of negation scopes, and reversal of negated statements, resulting in question-answer pairs that are challenging to solve via spurious cues. The dataset structure encompasses original passages, edited passages, questions and their corresponding answers, with the data fields including QuestionID, original cue, PassageEditID, original passage, SampleID, label, original sentence, sentence2, PassageID, and sentence1. The task of this dataset is to answer questions based on Wikipedia passages that contain negated statements, and there is currently no official leaderboard available for it.

原始信息汇总

数据集概述

名称: CondaQA

描述: CondaQA是一个英语阅读理解数据集，专注于推理关于否定句的含义。它是首个要求对段落中否定句的含义进行推理的英语阅读理解数据集。数据集包含14,182个问答对，涵盖超过200种独特的否定提示。

语言: 英语

许可证: Apache-2.0

大小: 10K<n<100K

任务: 问答

特点: 数据集通过对比阅读理解任务，评估模型处理否定句含义的能力。每个实例包括一个问题和相关的段落，其中包含否定句。

数据集结构

数据实例: 每个实例包含问题ID、原始提示、段落编辑ID、原始段落、样本ID、标签、原始句子、问题、段落ID和段落。

数据字段:

• QuestionID: 问题唯一ID
• original cue: 用于从维基百科中选择段落的否定提示
• PassageEditID: 段落编辑类型标识
• original passage: 原始维基百科段落
• SampleID: 段落-问题对唯一ID
• label: 答案
• original sentence: 包含否定句的句子
• sentence2: 问题
• PassageID: 维基百科段落唯一ID
• sentence1: 段落

数据分割: 数据集分为训练集、开发集和测试集。

数据集创建

来源数据: 数据集基于2021年7月的英语维基百科段落，包含各种否定提示。

注释过程: 通过众包工作者进行，他们首先对原始段落进行三种类型的编辑（重述否定句、改变否定范围、反转否定），然后提出关于否定句含义的挑战性问题，并回答这些问题。

注释者: 通过资格考试筛选的众包工作者。

使用数据集的考虑

社会影响: 模型解决此数据集的能力可能被误解为对英语语言全面理解的能力，可能影响模型的部署和应用。

已知限制: 数据集目前是最大的评估模型处理否定句含义能力的数据集，但仍有可能构建更大的数据集，并扩展到其他语言。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，针对否定推理的阅读理解任务长期面临数据稀缺的挑战。CondaQA数据集的构建始于从英文维基百科中筛选包含多样化否定线索的段落，这些线索不仅涵盖单一否定词，还扩展至多词否定短语及词缀否定。通过众包平台，标注者首先对原始段落进行三类编辑：对否定陈述进行释义、调整否定范围以及将否定转为肯定，从而生成对比性段落簇。随后，标注者针对否定陈述的隐含意义设计具有挑战性的问题，并为原始及编辑后的段落提供答案，最终形成包含14,182个问答对的高质量数据集。

特点

作为首个专注于否定推理的英文阅读理解数据集，CondaQA的突出特点在于其对比性结构。数据集通过编辑操作生成语义相近但否定表达各异的段落簇，有效遏制模型依赖虚假线索进行预测的倾向。它囊括超过200种独特的否定线索，问题设计聚焦于否定陈述的隐含意义，而非表面事实，从而深化了对模型推理能力的考察。这种精心设计的对比机制，为评估模型对否定结构的敏感性与理解深度提供了严谨的基准。

使用方法

该数据集适用于训练与评估机器阅读理解模型处理否定推理的能力。研究者可通过Hugging Face的`datasets`库便捷加载，其数据已划分为训练集、开发集和测试集。每个数据实例包含原始段落、编辑后段落、相关问题及答案标签，支持模型在对比语境下进行细粒度分析。在使用时，建议结合其论文中详述的构建原理与验证流程，以充分理解数据集的评估目标，并可在模型开发中利用其段落编辑ID字段，深入探究模型对不同否定变换的响应模式。

背景与挑战

背景概述

在自然语言处理领域，对否定推理的深入理解一直是机器阅读理解的难点。2022年，由卡内基梅隆大学等机构的研究人员Abhilasha Ravichander、Matt Gardner和Ana Marasović共同创建的CondaQA数据集应运而生，旨在系统评估模型处理否定语句隐含意义的能力。该数据集基于英文维基百科语料，通过众包方式构建了包含丰富否定线索的篇章及对应问题，其核心研究问题聚焦于模型能否超越表面语义，准确推断否定所引发的语境影响。CondaQA作为首个专注于否定推理的对比阅读理解数据集，为自然语言理解研究提供了新的评估基准，推动了语义推理模型的发展。

当前挑战

CondaQA所针对的领域挑战在于，传统问答模型常依赖数据中的虚假线索，难以真正理解否定结构的逻辑含义，导致在需要深度推理否定隐含意义时表现不佳。构建过程中的挑战则体现在多个层面：为确保数据质量，需设计涵盖多样否定线索的篇章筛选机制，并引导众包工作者提出针对否定含义的精准问题；同时，通过篇章编辑创造对比样本以消除模型取巧行为，增加了标注的复杂性与一致性维护难度；此外，平衡数据的规模与多样性，并控制潜在的语言偏差，亦是数据集构建中需克服的关键障碍。

常用场景

经典使用场景

在自然语言处理领域，CondaQA数据集为评估模型对否定推理的理解能力提供了关键基准。该数据集通过包含多样否定线索的维基百科段落，要求模型回答关于否定陈述隐含意义的问题，从而挑战模型超越表面语义捕捉深层逻辑关系的能力。其经典使用场景在于训练和测试阅读理解系统，特别是在需要处理复杂否定结构的任务中，模型必须准确解析否定范围并推断其语境影响，避免依赖数据中的虚假关联。

实际应用

在实际应用中，CondaQA数据集能够提升智能助手、客服系统及信息检索工具对复杂否定表述的处理精度。例如，在法律或医疗文本分析中，系统需准确理解“罕见发生”或“不被允许”等否定表述的潜在含义，以避免误解关键信息。该数据集通过增强模型对否定结构的敏感度，支持开发更可靠的自然语言接口，确保在真实场景中提供准确且符合语境的回应。

衍生相关工作

基于CondaQA数据集，多项研究进一步探索了否定推理的模型优化方法。例如，后续工作可能结合对比学习或对抗训练策略，以增强模型对否定编辑的鲁棒性。该数据集也启发了多语言否定数据集的构建，扩展了否定处理的跨语言研究。相关经典工作还包括利用CondaQA的对比簇结构设计新型评估指标，推动自然语言理解领域向更细粒度的语义分析迈进。