med_retrieved_medllama_med_nli

该数据集包含两个配置版本：冲突(conflict)版和默认(default)版。每个版本都包含了问题ID、标准化问题、标准化答案、问题文本、答案序列、是否有答案、是否可回答、生成答案的提示、答案句子、上下文信息（包括是否有答案、NLI任务标签、段落ID、排名、得分、文本和标题）、实体类型、相似实体及其得分、随机实体及其得分、冲突句子、生成冲突的提示、冲突段落、是否为有效的GPT冲突段落标记以及GPT冲突段落内容。测试集分别包含3171和18701个示例。

原始信息汇总

数据集概述

基本信息

• 数据集名称: med_retrieved_medllama_med_nli
• 数据集地址: https://huggingface.co/datasets/SKIML-ICL/med_retrieved_medllama_med_nli

数据集配置

数据集包含三个配置：

1. adversarial

   • 特征:
     • qid (int64)
     • norm_question (string)
     • norm_answers (string)
     • question (string)
     • answers (sequence of string)
     • hasanswer (bool)
     • answerable (string)
     • prompt_for_answer_gen (string)
     • answer_sentence (string)
     • ctxs (list of objects with hasanswer, nli, pid, rank, score, text, title)
     • named_entities (sequence of string)
     • adversarial_sentence (string)
     • prompt (string)
     • input (string)
     • adversarial_passage (string)
   • 数据量:
     • 测试集: 10,384 个样本
     • 大小: 360,404,750.82 字节
   • 下载大小: 192,864,319 字节

2. conflict

   • 特征:
     • qid (int64)
     • norm_question (string)
     • norm_answers (string)
     • question (string)
     • answers (sequence of string)
     • hasanswer (bool)
     • answerable (string)
     • prompt_for_answer_gen (string)
     • answer_sentence (string)
     • ctxs (list of objects with hasanswer, nli, pid, rank, score, text, title)
     • entity_type (string)
     • similar_entity (string)
     • similar_entity_score (float32)
     • random_entity (string)
     • random_entity_score (float64)
     • conflict_sentence (string)
     • prompt_for_conflict_gen (string)
     • conflict_passage (string)
     • is_valid_gpt_conflict_passage_v2 (bool)
     • gpt_conflict_passage_v2 (null)
   • 数据量:
     • 测试集: 3,171 个样本
     • 大小: 102,617,867 字节
   • 下载大小: 55,421,383 字节

3. default

   • 特征:
     • qid (int64)
     • norm_question (string)
     • norm_answers (string)
     • question (string)
     • answers (sequence of string)
     • hasanswer (bool)
     • answerable (string)
     • prompt_for_answer_gen (string)
     • answer_sentence (string)
     • ctxs (list of objects with hasanswer, nli, pid, rank, score, text, title)
   • 数据量:
     • 测试集: 18,701 个样本
     • 大小: 557,161,341 字节
   • 下载大小: 303,942,733 字节

搜集汇总

数据集介绍

构建方式

在医学信息检索领域，med_retrieved_medllama_med_nli数据集通过多阶段知识整合构建而成。该数据集采用对抗性配置、冲突配置和默认配置三种模式，每种配置均包含标准化的医学问题、答案文本及上下文信息。构建过程中特别设计了对抗性句子和冲突句子生成机制，通过命名实体识别和语义相似度计算，确保数据在医学逻辑一致性方面的严谨性。测试集的划分依据问题类型和知识覆盖度进行分层抽样，最终形成包含18,701个样本的核心数据集。

特点

该数据集最显著的特征在于其多层次的知识表示体系。每个样本不仅包含原始医学问题和标准化答案，还附带有评分排序的上下文段落、实体类型标注以及NLI（自然语言推理）标签。对抗性配置中特别集成了对抗性段落生成功能，冲突配置则通过相似实体对比展现医学概念的细微差异。数据集采用模块化设计，三种配置分别针对不同研究需求，其中默认配置的样本量达到18,701条，为医学问答系统评估提供了充分的数据支持。

使用方法

使用该数据集时，研究者可根据具体任务选择相应配置。对抗性配置适用于医学问答系统的鲁棒性测试，通过分析模型在对抗性段落中的表现评估其抗干扰能力。冲突配置则可用于医学实体消歧研究，比较模型对相似医学概念的区分能力。基础研究推荐使用默认配置，其丰富的上下文信息和标准化答案适合训练端到端的医学问答模型。所有数据均以结构化格式存储，qid字段确保样本可追溯，norm_question和norm_answers字段方便进行标准化评估。

背景与挑战

背景概述

med_retrieved_medllama_med_nli数据集是医学信息检索与自然语言推理领域的重要资源，由专业研究团队构建，旨在解决医学问答系统中的复杂语义理解问题。该数据集通过整合标准化医学问题、答案及上下文信息，为研究者提供了评估模型在对抗性和冲突性场景下性能的基准平台。其创新性地引入自然语言推理（NLI）标注和对抗样本生成机制，显著推动了医学人工智能领域在鲁棒性测试和可解释性研究方面的进展。

当前挑战

该数据集面临的核心挑战体现在两个方面：在领域问题层面，医学文本特有的专业术语多义性和逻辑复杂性对模型的细粒度语义理解能力提出极高要求；在构建过程中，如何平衡对抗样本的语义扰动强度与医学事实准确性成为关键难点，同时确保冲突性样本既能有效测试模型又符合临床逻辑需要精细设计。此外，跨模态医学知识的标准化表示与大规模标注质量控制也是构建过程中的重要技术壁垒。

常用场景

经典使用场景

在医疗信息检索领域，med_retrieved_medllama_med_nli数据集被广泛应用于评估和优化自然语言推理模型的性能。该数据集通过提供标准化的医学问题和答案对，结合上下文信息，为研究者提供了丰富的测试场景。特别是在处理医学文本的复杂语义关系时，该数据集能够有效验证模型在识别医学实体、理解专业术语以及推理逻辑关系方面的能力。

解决学术问题

该数据集解决了医学自然语言处理中的多个关键问题，包括医学文本的语义理解、信息检索的准确性以及对抗性样本的鲁棒性。通过提供多样化的医学问题和上下文，研究者可以深入探究模型在真实医疗场景中的表现，从而推动医学信息检索和自然语言推理技术的进步。这一数据集的出现填补了医学领域专业数据集稀缺的空白，为相关研究提供了可靠的数据支持。

衍生相关工作

基于该数据集，研究者们开发了多种先进的医学自然语言处理模型，如MedLLaMA和MedNLI。这些模型在医学问答、文本分类和语义推理任务中表现出色，进一步推动了医疗人工智能的发展。此外，该数据集还激发了对抗性样本生成和鲁棒性优化等研究方向，为医学领域的模型安全性和可靠性提供了新的解决方案。