mteb/medical_qa

MedQuad数据集经过规范化，用于mteb。该数据集包含与医疗条件、治疗和协议相关的问题和答案。

原始信息汇总

数据集概述

基本信息

• 许可证: CC0-1.0
• 任务类别: 表格问题回答
• 语言: 英语
• 数据集大小: 1K<n<10K

数据集配置

默认配置

• 特征:
  • query-id: 字符串类型
  • corpus-id: 字符串类型
  • score: 浮点数类型
• 分割:
  • test: 示例数量为2048

语料库配置

• 特征:
  • _id: 字符串类型
  • title: 字符串类型
  • text: 字符串类型
• 分割:
  • corpus: 示例数量为2048

查询配置

• 特征:
  • _id: 字符串类型
  • text: 字符串类型
• 分割:
  • queries: 示例数量为2048

数据文件

默认配置

• 文件: default.jsonl
• 分割: test

语料库配置

• 文件: corpus.jsonl
• 分割: corpus

查询配置

• 文件: queries.jsonl
• 分割: queries

搜集汇总

数据集介绍

构建方式

在医疗信息检索领域，精准的问答匹配是提升临床决策支持系统效能的关键。MedicalQARetrieval数据集源自Ben Abacha与Demner-Fushman于2019年发表在BMC Bioinformatics上的研究成果，原始研究基于问题蕴含方法构建问答系统。该数据集经过精心转换与适配，成为MTEB（大规模文本嵌入基准）框架下的标准检索任务数据集。其构建过程涉及从原始医疗问答对中提取并标准化为查询（queries）、语料库（corpus）及标注关联（default）三部分，每部分均以JSONL格式存储，包含2048个样本，确保数据结构的简洁性与可复现性。

特点

该数据集的核心特点在于其专注医疗领域的文本检索任务，涵盖书面医学知识，具有高度的专业性与领域针对性。数据规模适中，包含2048个查询与相同数量的文档，每个查询仅对应一个相关文档，形成清晰的单标签检索场景。统计信息显示，文档平均长度约1154字符，查询平均长度约52字符，体现了医疗问答中问题简洁而答案详实的典型特征。此外，数据集采用CC0-1.0许可协议，完全开放获取，为医疗嵌入模型的评估提供了标准化且无版权限制的基准资源。

使用方法

使用MedicalQARetrieval数据集评估嵌入模型时，推荐集成MTEB工具库以简化流程。开发者可通过调用mteb.get_tasks函数加载指定任务，并利用mteb.MTEB类实例化评估器，随后将预训练的嵌入模型传入evaluator.run方法即可完成自动化评测。该数据集已深度整合于MTEB基准中，支持开箱即用的评估管线，无需额外预处理。详细的运行指南与进阶用法可查阅MTEB官方GitHub仓库，以获取更全面的模型性能分析工具与社区支持。

背景与挑战

背景概述

在自然语言处理与生物医学信息检索的交叉领域，如何精准地从海量医学文献中定位与临床问题相关的答案，一直是研究的热点与难点。mteb/medical_qa数据集应运而生，其创建可追溯至2019年，由Asma Ben Abacha与Dina Demner-Fushman等研究人员基于BMC Bioinformatics上发表的一项关于问题蕴含式问答方法的研究成果构建而成。该数据集隶属于大规模文本嵌入基准（MTEB）体系，专注于文本检索任务，旨在评估模型在医学领域文档检索中的表现。通过提供2048对精心设计的医学问答配对，该数据集为衡量嵌入模型在专业领域中的语义理解与匹配能力提供了标准化测试平台，对推动医学信息检索技术的发展具有重要影响力。

当前挑战

该数据集所承载的核心挑战在于医学领域特有的语义复杂性。医学问题往往涉及专业术语、同义表达及上下文依赖，要求检索模型不仅能捕捉词汇层面的匹配，更要理解深层的临床意图与逻辑关系。例如，同一症状可能对应多种疾病描述，或问题中的模糊表述需要模型具备跨文档的推理能力。此外，构建过程中亦面临严苛挑战：原始数据源自生物医学文献，需经过精确的问答对提取与人工审核，以确保每对数据中查询与文档的语义关联准确无误。数据集规模相对有限（2048对），且每查询仅对应单一相关文档，这要求模型在有限监督下高效学习，同时避免过拟合，从而在真实医学检索场景中保持鲁棒性。

常用场景

经典使用场景

在生物医学信息检索与自然语言处理交叉领域中，MedicalQARetrieval数据集被广泛用作文本检索任务的标准化评估基准。其核心场景聚焦于度量嵌入模型在医学问答对上的语义匹配能力，通过构建2048个精心标注的查询-文档配对，系统性地检验模型从海量医学文献中精准定位与用户临床疑问高度相关答案的检索效能。该数据集依托于BMC Bioinformatics发表的权威研究，其问答结构天然契合了医疗场景下对信息精确性的严苛要求，为评估模型在专业术语密集、语义复杂度高的医学文本环境中的表现提供了可靠的测试平台。

实际应用

在实际临床决策支持系统中，MedicalQARetrieval所评估的嵌入模型可直接赋能智能问诊助手与知识库检索模块。当医生或患者提出复杂的病情咨询时，基于该数据集优化的检索系统能够从电子病历、诊疗指南及医学文献库中快速召回最相关的既往问答记录，辅助临床推理与诊断决策。此外，该技术还广泛应用于医学教育平台，通过精准匹配学习者的提问与权威教材段落，实现个性化知识点的即时推送，显著提升医学继续教育的效率与深度。

衍生相关工作

围绕MedicalQARetrieval数据集，学术界已衍生出多项里程碑式的工作。MTEB基准测试的提出者Muennighoff等人将该数据集纳入其大规模嵌入模型评估体系，系统揭示了不同模型在医学检索维度上的性能边界。随后，MMTEB工作进一步扩展了该数据集的多语言与多任务评估能力，推动了跨语言医学信息检索的发展。在方法论层面，Ben Abacha与Demner-Fushman基于该数据集的问答对，开创性地提出了问题蕴含（Question-Entailment）方法，为医学问答系统设计提供了新的理论范式，启发了后续大量关于医疗文本语义匹配与推理的研究工作。