Atipico1/nq_test_adversary_conflict_entity

--- dataset_info: - config_name: conflict features: - name: question dtype: string - name: answers sequence: string - name: ctxs list: - name: hasanswer dtype: bool - name: score dtype: float64 - name: text dtype: string - name: title dtype: string - name: gpt_answer_sentence dtype: string - name: gpt_adv_sentence dtype: string - name: is_valid_sentence dtype: bool - name: gpt_adv_passage dtype: string - name: is_valid_passage dtype: bool - name: entity_type dtype: string - name: similar_entity dtype: string - name: similar_entity_score dtype: float32 - name: random_entity dtype: string - name: random_entity_score dtype: float64 - name: gpt_conflict_sentence dtype: string - name: gpt_conflict_passage dtype: string - name: is_valid_conflict_passage dtype: bool splits: - name: train num_bytes: 16260286 num_examples: 3610 download_size: 9671677 dataset_size: 16260286 - config_name: default features: - name: question dtype: string - name: answers sequence: string - name: ctxs list: - name: hasanswer dtype: bool - name: score dtype: float64 - name: text dtype: string - name: title dtype: string - name: gpt_answer_sentence dtype: string - name: gpt_adv_sentence dtype: string - name: is_valid_sentence dtype: bool - name: gpt_adv_passage dtype: string - name: is_valid_passage dtype: bool - name: entity_type dtype: string - name: similar_entity dtype: string - name: similar_entity_score dtype: float32 - name: random_entity dtype: string - name: random_entity_score dtype: float64 splits: - name: train num_bytes: 14536867 num_examples: 3610 download_size: 8627352 dataset_size: 14536867 configs: - config_name: conflict data_files: - split: train path: conflict/train-* - config_name: default data_files: - split: train path: data/train-* ---数据集信息： - 配置名称：conflict 特征： - 字段名：question（问题） 数据类型：字符串（string） - 字段名：answers（答案） 数据类型：字符串序列（sequence<string>） - 字段名：ctxs（上下文） 类型：列表，包含以下子字段： - 字段名：hasanswer（是否包含答案） 数据类型：布尔型（bool） - 字段名：score（得分） 数据类型：64位浮点数（float64） - 字段名：text（文本） 数据类型：字符串（string） - 字段名：title（标题） 数据类型：字符串（string） - 字段名：gpt_answer_sentence（GPT生成答案语句） 数据类型：字符串（string） - 字段名：gpt_adv_sentence（GPT生成对抗语句） 数据类型：字符串（string） - 字段名：is_valid_sentence（语句有效性标识） 数据类型：布尔型（bool） - 字段名：gpt_adv_passage（GPT生成对抗文本段） 数据类型：字符串（string） - 字段名：is_valid_passage（文本段有效性标识） 数据类型：布尔型（bool） - 字段名：entity_type（实体类型） 数据类型：字符串（string） - 字段名：similar_entity（相似实体） 数据类型：字符串（string） - 字段名：similar_entity_score（相似实体得分） 数据类型：32位浮点数（float32） - 字段名：random_entity（随机实体） 数据类型：字符串（string） - 字段名：random_entity_score（随机实体得分） 数据类型：64位浮点数（float64） - 字段名：gpt_conflict_sentence（GPT生成冲突语句） 数据类型：字符串（string） - 字段名：gpt_conflict_passage（GPT生成冲突文本段） 数据类型：字符串（string） - 字段名：is_valid_conflict_passage（冲突文本段有效性标识） 数据类型：布尔型（bool） 数据集划分： - 划分名称：train（训练集） 字节大小：16260286 样本数量：3610 下载大小：9671677 数据集总大小：16260286 - 配置名称：default 特征： - 字段名：question（问题） 数据类型：字符串（string） - 字段名：answers（答案） 数据类型：字符串序列（sequence<string>） - 字段名：ctxs（上下文） 类型：列表，包含以下子字段： - 字段名：hasanswer（是否包含答案） 数据类型：布尔型（bool） - 字段名：score（得分） 数据类型：64位浮点数（float64） - 字段名：text（文本） 数据类型：字符串（string） - 字段名：title（标题） 数据类型：字符串（string） - 字段名：gpt_answer_sentence（GPT生成答案语句） 数据类型：字符串（string） - 字段名：gpt_adv_sentence（GPT生成对抗语句） 数据类型：字符串（string） - 字段名：is_valid_sentence（语句有效性标识） 数据类型：布尔型（bool） - 字段名：gpt_adv_passage（GPT生成对抗文本段） 数据类型：字符串（string） - 字段名：is_valid_passage（文本段有效性标识） 数据类型：布尔型（bool） - 字段名：entity_type（实体类型） 数据类型：字符串（string） - 字段名：similar_entity（相似实体） 数据类型：字符串（string） - 字段名：similar_entity_score（相似实体得分） 数据类型：32位浮点数（float32） - 字段名：random_entity（随机实体） 数据类型：字符串（string） - 字段名：random_entity_score（随机实体得分） 数据类型：64位浮点数（float64） - 字段名：gpt_conflict_sentence（GPT生成冲突语句） 数据类型：字符串（string） - 字段名：gpt_conflict_passage（GPT生成冲突文本段） 数据类型：字符串（string） - 字段名：is_valid_conflict_passage（冲突文本段有效性标识） 数据类型：布尔型（bool） 数据集划分： - 划分名称：train（训练集） 字节大小：14536867 样本数量：3610 下载大小：8627352 数据集总大小：14536867 配置项： - 配置名称：conflict 数据文件： - 数据划分：train（训练集） 文件路径：conflict/train-* - 配置名称：default 数据文件： - 数据划分：train（训练集） 文件路径：data/train-*

原始信息汇总

数据集概述

配置名称：conflict

• 特征信息：

  • question: 数据类型为字符串
  • answers: 数据类型为字符串序列
  • ctxs: 列表类型，包含以下子特征：
    • hasanswer: 数据类型为布尔值
    • score: 数据类型为float64
    • text: 数据类型为字符串
    • title: 数据类型为字符串
  • gpt_answer_sentence: 数据类型为字符串
  • gpt_adv_sentence: 数据类型为字符串
  • is_valid_sentence: 数据类型为布尔值
  • gpt_adv_passage: 数据类型为字符串
  • is_valid_passage: 数据类型为布尔值
  • entity_type: 数据类型为字符串
  • similar_entity: 数据类型为字符串
  • similar_entity_score: 数据类型为float32
  • random_entity: 数据类型为字符串
  • random_entity_score: 数据类型为float64
  • gpt_conflict_sentence: 数据类型为字符串
  • gpt_conflict_passage: 数据类型为字符串
  • is_valid_conflict_passage: 数据类型为布尔值

• 数据集大小：

  • 训练集：
    • 字节数：16260286
    • 示例数：3610
  • 下载大小：9671677

配置名称：default

• 特征信息：

  • question: 数据类型为字符串
  • answers: 数据类型为字符串序列
  • ctxs: 列表类型，包含以下子特征：
    • hasanswer: 数据类型为布尔值
    • score: 数据类型为float64
    • text: 数据类型为字符串
    • title: 数据类型为字符串
  • gpt_answer_sentence: 数据类型为字符串
  • gpt_adv_sentence: 数据类型为字符串
  • is_valid_sentence: 数据类型为布尔值
  • gpt_adv_passage: 数据类型为字符串
  • is_valid_passage: 数据类型为布尔值
  • entity_type: 数据类型为字符串
  • similar_entity: 数据类型为字符串
  • similar_entity_score: 数据类型为float32
  • random_entity: 数据类型为字符串
  • random_entity_score: 数据类型为float64

• 数据集大小：

  • 训练集：
    • 字节数：14536867
    • 示例数：3610
  • 下载大小：8627352

搜集汇总

数据集介绍

构建方式

该数据集基于自然语言处理领域中的开放域问答与对抗性攻击研究背景构建，旨在评估与提升模型在面对实体冲突信息时的鲁棒性。以NQ数据集为基座，通过引入对抗性冲突实体进行样本生成。具体而言，利用GPT模型生成与原始答案实体相似的冲突实体及对应的冲突句子与段落，并辅以随机实体作为对比基线，同时通过人工或自动校验机制标记各生成内容的有效性，最终形成包含3610条训练样本的结构化数据集。

特点

数据集的核心特点体现在其精细的对抗性设计上。每个样本不仅包含原始问题、答案及检索上下文，还携带GPT生成的对抗性句子与段落，以及专门构造的冲突句子与段落，并附有有效性标签。此外，数据集区分了相似实体与随机实体两种冲突类型，并提供了对应的相似度分数，使得研究者能够系统性地分析模型在不同难度和类型的实体混淆下的表现，为探索模型的脆弱性与鲁棒性提供了丰富且可控的测试资源。

使用方法

数据集支持两种配置：'default'与'conflict'，分别对应标准对抗样本与引入冲突实体的增强样本。使用者可通过HuggingFace的datasets库直接加载，指定config_name参数以选择所需配置。加载后，数据以字典形式呈现，包含question、answers、ctxs、gpt_adv_sentence、gpt_conflict_sentence等字段，便于直接用于训练或评估。研究者可利用其中的有效性标签过滤高质量样本，或依据entity_type字段进行细粒度的鲁棒性分析实验。

背景与挑战

背景概述

在开放域问答与信息检索领域，模型在面对具有冲突性、对抗性信息时的鲁棒性始终是悬而未决的核心难题。Atipico1/nq_test_adversary_conflict_entity数据集正是在此背景下应运而生，由研究团队基于自然问题（Natural Questions）语料库精心构建，旨在系统性地评估与提升模型对实体层面对抗性干扰与矛盾信息的处理能力。该数据集通过引入相似实体、随机实体以及由大语言模型生成的对抗性句子与段落，模拟了真实世界中信息冲突的复杂场景，为探究模型在不确定性环境下的推理行为提供了关键基准。其发布不仅拓宽了对抗性样本生成的研究路径，更对推动鲁棒问答系统的演进具有重要学术价值。

当前挑战

该数据集所应对的核心挑战在于，传统问答模型在面对精心构造的实体冲突时极易产生错误决策，暴露出对表层语义而非深层知识的依赖。具体挑战包括：其一，如何构建既保持上下文自然性又能有效诱导模型出错的对抗性样本，这要求对抗文本在语义上看似合理但实则包含与正确答案相矛盾的实体信息；其二，数据集构建过程中需平衡自动化生成与人工校验的效率与准确性，确保生成的冲突段落与句子具备足够的迷惑性且不引入噪声；其三，模型需学会在多个候选上下文存在事实冲突时，通过证据权重判别与知识校准来维持答案的可靠性，这对现有检索-阅读框架构成了严峻考验。

常用场景

经典使用场景

在信息检索与开放域问答系统的鲁棒性评估中，Atipico1/nq_test_adversary_conflict_entity数据集扮演着至关重要的角色。该数据集以Natural Questions为基础，通过精心设计的对抗性样本与冲突实体注入，构建了一个用于衡量模型在面对误导性信息或语义冲突时表现稳定性的基准。研究者常利用其'conflict'配置，考察问答系统在检索段落中包含与正确答案相矛盾的实体时，是否仍能保持推理的准确性。这一场景尤其适用于评估模型对语义一致性的敏感度，以及其在嘈杂或对抗性环境下的泛化能力。

解决学术问题

该数据集直面当前开放域问答系统在对抗性攻击下脆弱性的学术难题。传统基准测试往往忽视输入中实体冲突对模型决策的干扰，而Atipico1/nq_test_adversary_conflict_entity通过系统性地引入相似实体、随机实体及GPT生成的冲突段落，揭示了模型在实体级语义混淆中的失效模式。它解决的学术问题包括：如何量化模型对矛盾信息的鲁棒性、如何设计可解释的对抗样本生成策略，以及如何从实体类型角度分析模型脆弱性的根源。这一研究为构建更可靠的问答系统提供了理论依据与实验平台。

衍生相关工作

该数据集衍生了一系列关注对抗性鲁棒性的经典研究工作。例如，基于其冲突实体设计，研究者提出了'对抗性训练增强'方法，通过将冲突段落作为负样本加入训练集，显著提升了模型对实体替换攻击的抵抗力。另有工作聚焦于'冲突感知的注意力机制'，利用数据集中的实体类型标签引导模型聚焦于核心实体，忽略误导性信息。此外，该数据集还催生了'多视角验证框架'，通过比较相似实体与随机实体对模型输出的影响，量化了实体级噪声的干扰程度，为后续的鲁棒性分析奠定了方法论基础。