miriad/miriad-5.8M

MIRIAD是一个经过精选的大规模医学指令与检索数据集，包含580万医学问答对，这些问答对是从同行评审的生物医学文献中通过LLM提炼出来的。该数据集提供结构化、高质量的问答对，可用于各种下游任务，例如阅读理解、医学检索、虚构检测和指令微调。

MIRIAD is a curated million-scale Medical Instruction and Retrieval Dataset containing 5.8 million medical question-answer pairs, distilled from peer-reviewed biomedical literature using LLMs. The dataset provides structured, high-quality QA pairs, enabling diverse downstream tasks like Reading Comprehension, medical retrieval, hallucination detection, and instruction tuning.

搜集汇总

数据集介绍

构建方式

在生物医学文献爆炸式增长与大型语言模型（LLM）临床落地需求的双重驱动下，高质量医学问答数据的稀缺性成为制约模型性能的瓶颈。MIRIAD数据集应运而生，其构建策略独辟蹊径：以Semantic Scholar开放研究语料库（S2ORC）中经同行评审的生物医学文献为原始语料，借助GPT系列等先进语言模型，通过指令蒸馏技术自动生成海量问答对。这一过程严格遵循数据清洗与质量控制流程，最终汇聚成包含582万条样本的庞大规模，每条样本均以结构化字段记录，涵盖问题、答案、原始段落文本及其位置、论文元数据等关键信息，确保了数据来源的权威性与构建流程的可复现性。

使用方法

MIRIAD数据集的使用极为便捷，完全兼容HuggingFace Datasets生态系统。开发者仅需通过`load_dataset("miriad/miriad-5.8M", split="train")`一行代码即可将全部582万条训练样本加载至内存，其内置的字段结构（如question、answer、passage_text）可直接用于构建问答对流水线。该数据集的灵活架构支持多种调用范式：既可将其作为检索库与LLM协同构建RAG系统，也可直接用于微调医学领域的对话模型。需特别注意，数据集依据ODC-By v1.0许可发布，并受限于OpenAI使用条款中关于禁止用于临床诊断的规定，当前阶段仅供学术研究与教育探索之用。

背景与挑战

背景概述

在生物医学信息检索与自然语言处理领域，高质量问答数据的匮乏长期制约着大语言模型在专业医疗场景中的落地应用。MIRIAD数据集由斯坦福大学、卡内基梅隆大学及Scripps研究转化研究所等机构的研究人员于2025年联合创建，旨在通过大规模结构化医学问答对弥合通用语言模型与专业临床知识之间的鸿沟。该数据集从经过同行评审的生物医学文献中，利用大语言模型蒸馏出582万条问答实例，每一条均包含原始文献的上下文段落、发表日期及所属专科领域等元数据。MIRIAD的发布为检索增强生成、医学信息检索、幻觉检测及指令微调等下游任务提供了规模空前的基准资源，其影响力体现在为医疗AI研究开辟了从非结构化文献到结构化知识库的自动化构建范式。

当前挑战

MIRIAD数据集面临的挑战主要来自三个层面。首先，在领域问题层面，医学问答对天然具有高专业性与低容错性，模型需同时应对术语歧义、多模态证据整合及临床推理链的复杂性，而现有检索与生成框架在长尾罕见病、跨专科交叉场景中的表现仍不理想。其次，在数据集构建过程中，从S2ORC语料库中筛选高质量文献并利用大语言模型生成问答对面临三重困难：一是文献中隐含的时效性偏倚——部分结论随医学发展已被更新；二是模型生成答案时可能引入的虚假相关性或事实性错误；三是跨领域知识覆盖的均衡性问题，如基础研究与临床实践间的分布差异。此外，数据集的许可协议明确禁止用于临床决策，这限制了其在真实医疗场景中的验证与迭代。

常用场景

经典使用场景

MIRIAD数据集最经典的使用场景在于为大规模语言模型（LLM）提供高质量的医学指令微调和检索增强生成（RAG）训练数据。该数据集包含580万条从同行评审的生物医学文献中蒸馏出的问答对，每条数据都保留了原文的篇章上下文和位置信息，使其特别适合训练模型在医学领域进行精准的信息检索和知识问答。研究者可以基于此数据集构建端到端的医学问答系统，或将其作为检索模块的监督信号，提升模型在专业医学场景下的回答准确性和可解释性。

解决学术问题

该数据集有效解决了医学自然语言处理领域长期面临的标注数据匮乏和领域知识覆盖不全的核心问题。通过自动化流程从海量生物医学文献中提取高质量的问答对，MIRIAD为医学大模型的指令微调、幻觉检测、知识注入等前沿研究方向提供了规模化的数据支撑。它填补了现有医学数据集在问答多样性、知识时效性和专业深度方面的空白，推动了LLM在医学领域从通用对话向专业诊疗辅助的范式转变，其开源发布更促进了医学人工智能研究的可复现性和公平竞争。

实际应用

在实际应用中，MIRIAD数据集可赋能多种医疗健康场景。临床决策支持系统可基于该数据集训练检索模块，帮助医生快速定位相关文献证据；患者智能问诊平台能利用微调后的模型提供初步症状分析和就医建议；医学教育领域可构建自适应考试题库和虚拟标准化病人系统。此外，该数据集还可用于开发医疗文献自动摘要工具、药物不良反应监测系统以及跨语言医学知识对齐平台，显著提升医疗信息处理的效率和准确性。

数据集最近研究

最新研究方向

在生物医学自然语言处理领域，大规模高质量指令数据的匮乏长期制约着医疗大语言模型的纵深发展。MIRIAD-5.8M数据集的问世，凭借其从经同行评议的生物医学文献中蒸馏出的580万条医疗问答对，为检索增强生成、医学信息检索、幻觉检测及指令微调等前沿任务提供了坚实的数据基石。该数据集紧密关联当前大模型在临床知识问答与证据溯源中的热点探索，其结构化设计不仅强化了模型对医学文献的精准理解与推理能力，更推动了可信医疗AI从实验室走向真实场景的进程。作为首个百万级医学指令与检索联合数据集，MIRIAD-5.8M的发布标志着医学NLP研究在数据规模与质量上迈入新阶段，为构建安全、可溯源的医疗智能系统奠定了重要基础。