orionweller/NevIR

该数据集来自论文《NevIR: Negation in Neural Information Retrieval》，旨在研究否定在神经信息检索中的影响。尽管语言模型（LMs）已成为现代信息检索（IR）架构的核心，但关于否定如何影响神经IR的研究却很少。因此，该研究构建了一个简单的基准测试，要求IR模型对仅通过否定区分的两个文档进行排序。研究结果表明，不同类型的IR架构在处理否定时的表现差异很大：交叉编码器表现最佳，其次是后期交互模型，而双编码器和稀疏神经架构表现最差。大多数当前的信息检索模型在处理否定时表现不佳，甚至比随机排序还要差。尽管通过在包含否定的对比文档数据集上继续微调可以提高性能（模型大小也有帮助），但机器与人类的表现之间仍存在较大差距。

This dataset is sourced from the paper *NevIR: Negation in Neural Information Retrieval*, which aims to investigate the impact of negation on neural information retrieval (IR). While language models (LMs) have become the core of modern information retrieval (IR) architectures, there has been relatively limited research on how negation affects neural IR. To fill this research gap, this study constructs a simple benchmark that requires IR models to rank two documents that are distinguished exclusively by negation. The study's findings demonstrate that different categories of IR architectures exhibit substantial performance disparities when handling negation: cross-encoders achieve the best performance, followed by late-interaction models, while dual encoders and sparse neural architectures perform the worst. Most current information retrieval models perform poorly when processing negation, even worse than random ranking. Although performance can be enhanced via continued fine-tuning on contrastive document datasets containing negation (model size also contributes positively to performance), a considerable gap still exists between machine and human performance.

原始信息汇总

数据集概述

• 数据集名称: NevIR
• 数据集描述: 该数据集专注于神经信息检索（Neural Information Retrieval, IR）中的否定现象研究。数据集包含了一系列文档对，这些文档对仅在否定表达上有所不同，用于评估和改进信息检索模型在处理否定情况下的性能。

数据集详细信息

• 语言: 英语
• 许可证: MIT
• 数据集大小: 1K<n<10K
• 标签: 否定、信息检索、IR

数据集结构

数据实例

• 示例: json { "id": "1-2", "WorkerId": 0, "q1": "Which mayor did more vetoing than anticipated?", "q2": "Which mayor did less vetoing than anticipated?", "doc1": "...", "doc2": "..." }

数据字段

• id: 文档对唯一ID。
• WorkerId: 创建查询的工作者ID。
• q1: 仅与doc1相关的查询。
• q2: 仅与doc2相关的查询。
• doc1: 来自CondaQA的原始文档。
• doc2: 来自CondaQA的编辑文档。

数据分割

• 加载方式: python from datasets import load_dataset train_set = load_dataset("orionweller/nevir", "train") dev_set = load_dataset("orionweller/nevir", "validation") test_set = load_dataset("orionweller/nevir", "test")

支持的任务和排行榜

• 任务: 正确排名每对查询中的相关文档。
• 排行榜: 无官方排行榜。

引用信息

• 主要论文: bibtex @inproceedings{weller-et-al-2023-nevir, title={NevIR: Negation in Neural Information Retrieval}, author={Weller, Orion and Lawrie, Dawn, and Van Durme, Benjamin}, year={2023}, eprint={2305.07614}, archivePrefix={arXiv}, year={2023} }

• 创建初始文档的工作: bibtex @inproceedings{ravichander-et-al-2022-condaqa, title={CONDAQA: A Contrastive Reading Comprehension Dataset for Reasoning about Negation}, author={‪Ravichander‬, Abhilasha and Gardner, Matt and Marasovi{c}, Ana}, proceedings={EMNLP 2022}, year={2022} }

搜集汇总

数据集介绍

构建方式

NevIR数据集聚焦于自然语言处理中极具挑战性的否定现象，旨在评估神经信息检索模型对否定语义的捕获能力。该数据集构建于CONDAQA语料库之上，通过众包方式由标注人员为每对仅因否定而语义相反的文档撰写两个互斥查询，确保每个查询仅与其中一个文档相关。最终形成包含数千个三元组（查询对与文档对）的基准测试集，并划分为训练、验证和测试子集，为系统性评估模型对否定信息的敏感性提供了标准化平台。

使用方法

NevIR数据集主要用于评估和提升信息检索模型对否定语义的鲁棒性。研究者可通过HuggingFace Datasets库直接加载预划分的集合，使用标准的排序任务流程：对每个实例，模型需根据查询对（q1与q2）分别对文档对（doc1与doc2）进行相关性评分，并正确识别每个查询对应的相关文档。评估指标通常采用准确率或平均排序倒数，以衡量模型在否定场景下的一致性表现。该数据集亦可作为微调数据，通过对比学习策略强化模型对否定特征的编码能力。

背景与挑战

背景概述

NevIR数据集由约翰霍普金斯大学的Orion Weller、Dawn Lawrie和Benjamin Van Durme于2023年创建，专注于神经信息检索中的否定现象。否定作为自然语言中常见但复杂的语义现象，长期以来困扰着语言模型的表现。尽管信息检索领域已广泛采用神经架构，但否定对检索效果的影响尚未得到系统研究。NevIR应运而生，旨在填补这一空白，通过构建一个简洁的基准测试，评估不同神经检索模型在处理否定查询时的能力。该数据集基于CONDAQA语料库中的文档对，每个文档对仅通过否定表达相区分，并配以相应查询，从而精准衡量模型对否定语义的敏感度。NevIR的提出为信息检索领域提供了首个专门针对否定理解的评估工具，揭示了当前模型在语义推理上的显著不足，推动了检索系统向更精细的语义理解方向发展。

当前挑战

NevIR数据集面临的核心挑战在于神经检索模型对否定语义的普遍忽视。实验表明，交叉编码器表现最佳，但晚期交互模型、双编码器及稀疏神经架构的性能均接近随机排序，暴露出现有模型在捕捉否定关系上的结构性缺陷。此外，构建过程中亦遭遇多重困难：首先，需从CONDAQA中筛选出仅通过否定修饰词（如“更多”与“更少”）区分的文档对，确保语义差异的纯粹性；其次，需通过众包方式为每对文档生成唯一相关的查询，以排除查询歧义对评估的干扰；最后，如何设计一个公平且可复现的评估协议，以区分模型在否定理解上的真实进步与偶然提升，亦是持续存在的挑战。这些难题不仅限制了NevIR的规模（仅数千样本），也凸显了否定推理在信息检索中的复杂性。

常用场景

经典使用场景

NevIR数据集专为评估神经信息检索模型对否定语义的处理能力而设计，其核心场景是让模型对一对仅因否定词差异而区分的文档进行排序。每对数据包含两个查询，分别仅与其中一个文档相关，从而精准测试模型能否识别否定词带来的语义反转。该数据集源自CONDAQA语料库，通过众包方式构建查询，确保了任务的生态效度和挑战性，是检验IR模型在细粒度语义理解上是否具备鲁棒性的标杆性基准。

解决学术问题

该数据集直面自然语言处理中长期存在的痛点——语言模型对否定结构的系统性脆弱性。在信息检索领域，尽管神经网络架构已占据主导地位，但否定对检索性能的影响此前鲜有量化研究。NevIR通过构造否定对比文档对，揭示了现有模型（如双编码器、稀疏神经模型）在否定推理上的严重不足，甚至不如随机排序。这一发现推动了学术界重新审视检索模型对逻辑否定、极性翻转等语义现象的建模能力，并催生了针对性的微调策略研究。

实际应用

在实际应用中，NevIR所暴露的问题直接关联到搜索引擎、问答系统和法律文档检索等场景的可靠性。例如，用户查询“哪些药物没有副作用”与“哪些药物有副作用”的检索结果若混淆，可能导致严重误导。该数据集促使工业界在构建检索系统时，必须融入否定感知机制，如通过对比学习增强模型对否定词的注意力，或设计专门的否定感知编码层，从而提升关键领域（如医疗、法律）信息检索的安全性和准确性。

数据集最近研究

最新研究方向

在信息检索领域，否定表达一直是语言模型难以逾越的鸿沟。NevIR数据集的问世，精准聚焦于神经信息检索中否定语义理解的薄弱环节，构建了仅通过否定词差异区分文档相关性的基准测试。该研究揭示了当前主流IR架构对否定信息的处理能力参差不齐：交叉编码器表现最优，延迟交互模型次之，而双编码器与稀疏神经架构几乎等同随机排序。这一发现不仅暴露了现有模型在细粒度语义推理上的系统缺陷，更挑战了学界对神经检索模型鲁棒性的既有认知。值得注意的是，即使通过对比学习进行领域微调或扩大模型规模，机器与人类在否定理解上的性能鸿沟依然显著，这为未来设计具备逻辑感知能力的检索架构指明了关键突破方向。