xingqiang/microbiology-qa-dataset

# 🦠 微生物医学QA完整数据集 v2.1 (增强版) ## 📊 数据集概览 | 指标 | 数值 | |------|------| | **总数据量** | 308,971 条 | | **训练集** | 278,073 条 | | **验证集** | 15,448 条 | | **测试集** | 15,450 条 | | **文件大小** | ~330 MB | ## 📁 数据来源 ### 1. LLM生成的教科书QA (15,487条) 高质量专业医学问答，使用Qwen-Plus从权威医学教材中提取： - 热病桑福德抗微生物治疗指南: 3,350条 - 临床微生物学手册(上): 3,789条 - 临床微生物学手册(下): 3,876条 - 哈里森感染病学: 4,472条 ### 2. CSV微生物报告分析QA (22,842条) ✨增强版 来自9,990份真实微生物检测报告： - 物种鉴定与丰度分析 - 病原体检测与临床建议 - 菌群多样性评估 - **增强处理**: 去重1,183条 + 问题多样化(Qwen-Plus生成5种表述变体) ### 3. 过滤的开源医学数据 (270,642条) 从546K条开源数据中筛选微生物相关内容： - PubMedQA: 187,403条 (英文生物医学问答) - MedMCQA: 49,226条 (医学选择题) - CMtMedQA: 27,377条 (中文医患对话) - MedQA: 6,637条 (医学考试题) ## 🔤 数据格式 ```json { "instruction": "问题/指令", "input": "可选的上下文/选项", "output": "答案/回复", "source": "数据来源", "category": "分类标签", "data_source": "llm_textbook/csv_analysis/opensource" } ``` ## 🎯 覆盖主题 - **病原微生物**: 细菌、病毒、真菌、寄生虫 - **感染性疾病**: 肺炎、败血症、尿路感染等 - **抗微生物治疗**: 抗生素、抗病毒药、抗真菌药 - **耐药性**: MRSA、VRE、CRE、ESBL等 - **诊断技术**: 培养、PCR、mNGS、质谱 - **微生物组**: 肠道菌群、菌群失调 ## 📦 使用方式 ```python from datasets import load_dataset dataset = load_dataset('json', data_files={ 'train': 'train.jsonl', 'validation': 'validation.jsonl', 'test': 'test.jsonl' }) print(f"训练集: {len(dataset['train']):,} 条") # 输出: 训练集: 279,138 条 ``` ## 🔧 生成方法 1. **LLM智能提取**: 使用Qwen-Plus对医学教材进行智能分片(500-2500字符)，自动生成高质量QA 2. **结构化分析**: 解析微生物检测CSV报告，生成专业分析QA 3. **关键词过滤**: 使用272个中英文微生物领域关键词过滤开源数据 ## 📅 版本信息 - **版本**: 2.1 (增强版) - **生成日期**: 2024-12-02 - **项目**: DeepMicroPath ## 🔄 v2.1 更新内容 - CSV数据去重：移除1,183条完全重复的QA对 - 问题多样化：使用Qwen-Plus为2个高频问题生成5种不同表述变体 - 问题复用率从76.9%降低，提高了数据多样性# 🦠 Complete Microbial Medical QA Dataset v2.1 (Enhanced Version) ## 📊 Dataset Overview | Metrics | Value | |------|------| | **Total Entries** | 308,971 | | **Training Set** | 278,073 | | **Validation Set** | 15,448 | | **Test Set** | 15,450 | | **File Size** | ~330 MB | ## 📁 Data Sources ### 1. LLM-generated Textbook QA (15,487 entries) High-quality professional medical Q&A pairs extracted from authoritative medical textbooks using Qwen-Plus: - Sanford Guide to Antimicrobial Therapy: 3,350 entries - Manual of Clinical Microbiology (Volume 1): 3,789 entries - Manual of Clinical Microbiology (Volume 2): 3,876 entries - Harrison's Principles of Infectious Diseases: 4,472 entries ### 2. CSV Microbial Report Analysis QA (22,842 entries) ✨ Enhanced Version Derived from 9,990 real microbial test reports: - Species identification and abundance analysis - Pathogen detection and clinical recommendations - Microbiota diversity assessment - **Enhancement Processing**: Duplicate removal of 1,183 entries + Question diversification (5 expression variants generated by Qwen-Plus) ### 3. Filtered Open-Source Medical Data (270,642 entries) Screened from 546K open-source medical data: - PubMedQA: 187,403 entries (English biomedical Q&A) - MedMCQA: 49,226 entries (Medical multiple-choice questions) - CMtMedQA: 27,377 entries (Chinese doctor-patient dialogue Q&A) - MedQA: 6,637 entries (Medical examination questions) ## 🔤 Data Format json { "instruction": "Question/Instruction", "input": "Optional context/options", "output": "Answer/Response", "source": "Data source", "category": "Classification tag", "data_source": "llm_textbook/csv_analysis/opensource" } ## 🎯 Covered Topics - **Pathogenic Microorganisms**: Bacteria, Viruses, Fungi, Parasites - **Infectious Diseases**: Pneumonia, Sepsis, Urinary Tract Infection, etc. - **Antimicrobial Therapy**: Antibiotics, Antiviral Drugs, Antifungal Drugs - **Drug Resistance**: MRSA, VRE, CRE, ESBL, etc. - **Diagnostic Techniques**: Culture, PCR, mNGS, Mass Spectrometry - **Microbiome**: Intestinal Microbiota, Dysbiosis ## 📦 Usage Method python from datasets import load_dataset dataset = load_dataset('json', data_files={ 'train': 'train.jsonl', 'validation': 'validation.jsonl', 'test': 'test.jsonl' }) print(f"Training Set: {len(dataset['train']):,} entries") # Output: Training Set: 279,138 entries ## 🔧 Generation Methods 1. **LLM Intelligent Extraction**: Use Qwen-Plus to perform intelligent chunking (500-2500 characters) on medical textbooks, automatically generating high-quality Q&A pairs 2. **Structured Analysis**: Parse microbial test CSV reports to generate professional analytical Q&A pairs 3. **Keyword Filtering**: Filter open-source data using 272 Chinese and English microbial domain keywords ## 📅 Version Information - **Version**: 2.1 (Enhanced Version) - **Generation Date**: 2024-12-02 - **Project**: DeepMicroPath ## 🔄 v2.1 Update Content - CSV Data Duplicate Removal: Removed 1,183 fully duplicate Q&A pairs - Question Diversification: Generated 5 distinct expression variants for 2 high-frequency questions using Qwen-Plus - Reduced the question reuse rate from 76.9%, improving data diversity

搜集汇总

数据集介绍

构建方式

在微生物医学领域，高质量问答数据的构建是推动临床智能诊断与教学研究的关键。该数据集融合三重来源：第一，利用Qwen-Plus大语言模型从四部权威医学教材（如《热病桑福德抗微生物治疗指南》及《临床微生物学手册》）中智能提取15,487条教科书级QA；第二，对9,990份真实微生物检测报告进行结构化解析，生成22,842条涵盖物种鉴定、病原检测与菌群多样性评估的专业分析QA，并采用去重与问题多样化增强策略提升数据质量；第三，从546K条开源数据中通过272个中英文微生物关键词过滤得到270,642条相关问答，涵盖PubMedQA与MedMCQA等来源。最终形成含308,971条样本、按8:1:1划分为训练、验证与测试集的完整数据集。

特点

该数据集具有鲜明的专业性与层次化特征。其覆盖主题横跨病原微生物分类、感染性疾病诊疗、抗微生物药物应用及耐药性机制（如MRSA、CRE），并延伸至诊断技术与微生物组分析，构建了从基础到临床的完整知识图谱。数据格式采用统一JSON结构，包含instruction、input、output、source、category与data_source六个字段，便于下游模型直接微调。特别地，CSV报告分析部分经过增强处理，通过问题多样化将高频问题复用率从76.9%显著降低，大幅提升了数据多样性，有效避免了模型过拟合于单一表述模式。

使用方法

该数据集可直接通过HuggingFace的datasets库加载，用户仅需指定JSON文件路径即可获取训练、验证与测试三部分数据。每一条样本均包含清晰的问题指令、可选上下文、标准答案及来源标签，适合用于医学领域大语言模型的指令微调与评估。研究者可依据data_source字段灵活筛选特定来源数据（如仅使用教科书QA或开源数据），或根据category标签聚焦于某一子主题（如耐药性或诊断技术）进行专项训练。数据集以约330MB的紧凑体积存储为JSONL格式，便于高效读取与处理，为微生物医学问答系统的研发提供了即用型资源。

背景与挑战

背景概述

微生物医学领域长期以来面临专业问答数据稀缺的困境，尤其是涵盖病原体鉴定、抗微生物治疗及耐药性分析等核心议题的高质量标注语料。为弥补这一空白，xingqiang/microbiology-qa-dataset数据集于2024年12月发布，由DeepMicroPath项目团队构建，整合了来自权威医学教材、真实微生物检测报告及开源医学语料的三类数据源，总计逾30万条问答对。该数据集的核心研究问题在于如何系统性地汇聚并结构化微生物学与感染病学知识，以支持大语言模型在临床微生物诊断与治疗决策中的精准推理。其影响力体现在为微调医学领域大模型提供了专用、多源且覆盖广泛病原微生物与耐药机制的基准资源，推动了智能医疗问答系统的发展。

当前挑战

该数据集面临的挑战首先体现在领域问题的复杂性上：微生物医学涵盖细菌、病毒、真菌、寄生虫等多类病原体及其引发的感染性疾病，同时涉及抗生素耐药机制（如MRSA、CRE）与新兴诊断技术（如mNGS、质谱），要求问答对具备高度的专业性与时效性，以应对临床中快速演变的抗微生物治疗策略。构建过程中则面临数据异构性与质量控制的难题：从权威教材中利用大模型提取QA时，需确保分片逻辑与问题生成的准确性，避免语义偏差；真实CSV微生物报告分析需处理非结构化表格的解析歧义，并通过去重与问题多样化（降低问题复用率至76.9%以下）来提升数据多样性；此外，从开源数据中过滤微生物相关内容依赖272个关键词，可能遗漏边缘案例或引入噪声，需持续优化过滤策略以平衡覆盖度与纯净度。

常用场景

经典使用场景

在微生物医学与人工智能交叉研究领域，xingqiang/microbiology-qa-dataset作为首个大规模、多来源、结构化的微生物学问答数据集，其经典使用场景集中于训练和评估面向微生物医学领域的问答系统与对话模型。研究者可利用该数据集的三元组结构（指令、上下文、答案）进行有监督微调，使大语言模型掌握从病原微生物鉴定、抗微生物治疗策略到耐药性机制解析等专业知识的推理能力。数据集涵盖LLM从权威教材提取的高质量QA、真实微生物检测报告的结构化分析QA以及过滤后的开源医学问答，为模型提供了兼具理论深度与临床实践视角的训练素材，尤其适合构建能够理解中文微生物学术语并给出精准回答的垂直领域智能助手。

衍生相关工作

该数据集的发布催生了一系列衍生研究工作。在数据增强方面，v2.1版本通过问题多样化与去重策略，为低资源场景下的数据扩充提供了方法论参考。在模型评估领域，研究者利用该数据集构建了微生物医学领域的专家测试集，对比不同大语言模型在病原体识别、治疗方案推荐等任务上的表现，揭示了领域特定微调的必要性。此外，该数据集与DeepMicroPath项目的结合，推动了微生物组学与自然语言处理的交叉研究，衍生出诸如基于微生物检测报告的自动报告生成、耐药性趋势分析等前沿工作。这些成果共同促进了人工智能在精准医学和感染病学中的落地，展现了高质量领域数据集对学术生态的辐射效应。

数据集最近研究

最新研究方向

当前微生物医学领域正朝着数据驱动与人工智能深度融合的方向发展，该数据集聚焦于构建高质量、多源异构的微生物学问答资源，反映了前沿研究中对真实临床报告解析、抗微生物耐药性分析及病原体精准诊断的迫切需求。通过整合权威教科书知识、结构化微生物检测报告及大规模开源医学数据，该数据集不仅支持感染性疾病的智能问答，还覆盖了MRSA、CRE等耐药菌株及mNGS等新型诊断技术，与全球抗菌药物管理及医院感染控制热点事件紧密关联。其增强版通过去重与问题多样化策略提升了数据质量，为训练领域专用大语言模型提供了坚实基石，有望推动临床决策支持系统的进步与微生物组学研究的智能化转型。