MedExpQA

MedExpQA是由HiTZ中心和巴斯克大学创建的多语言医疗问答基准数据集，包含622条数据，涵盖英语、法语、意大利语和西班牙语。该数据集基于医疗考试，首次包含了由医生编写的参考黄金解释，用于评估大型语言模型在医疗问答任务中的表现。数据集旨在解决现有医疗知识评估基准的不足，特别是缺乏黄金解释和多语言支持的问题。MedExpQA的应用领域包括医疗决策支持和医疗教育，旨在通过提供高质量的医疗知识解释来提高AI在医疗领域的应用效果。

MedExpQA is a multilingual medical question answering benchmark dataset developed by HiTZ Center and the University of the Basque Country, consisting of 622 entries covering English, French, Italian and Spanish. Rooted in medical examinations, this dataset is the first to include gold standard reference explanations authored by physicians, and is designed to evaluate the performance of large language models (LLMs) on medical question answering tasks. It aims to address the shortcomings of existing medical knowledge evaluation benchmarks, particularly the lack of gold standard explanations and multilingual support. The application fields of MedExpQA include medical decision support and medical education, with the goal of improving the application effectiveness of AI in the healthcare domain by providing high-quality medical knowledge explanations.

搜集汇总

数据集介绍

构建方式

MedExpQA的构建依托于Antidote CasiMedicos数据集，该数据集源自西班牙住院医师医学考试（MIR），包含临床病例、多选题及其由医学专家撰写的黄金标准解释。原始西班牙语版本经过人工翻译与注释，形成了英语、法语、意大利语和西班牙语四种语言的平行语料。在此基础上，MedExpQA进一步设计了三种黄金知识形式：完整解释、仅错误选项解释以及隐藏显式选项引用的完整解释，以系统评估大语言模型在不同知识条件下的表现。

特点

MedExpQA是首个涵盖多语言并包含医生撰写黄金解释的医学问答基准。其独特之处在于提供了三种层次的黄金知识，可分别作为模型性能的上限参考。实验表明，即便采用最先进的检索增强生成方法，模型表现仍远不及基于黄金知识的推理结果，且英语之外的语种性能显著偏低，凸显了多语言医学问答领域的迫切需求与挑战。

使用方法

研究人员可通过HuggingFace平台获取MedExpQA数据集及代码。评估时，模型需根据临床案例与选项输出预测答案，准确率通过比较首个生成字符与正确答案的索引来计算。基准支持零样本与微调两种设置，并可结合BM25与MedCPT检索器及MedCorp知识库进行RAG实验。官方提供了标准训练、验证与测试划分，便于复现与扩展研究。

背景与挑战

背景概述

在大语言模型（LLM）迅猛发展的浪潮中，其在医学领域的应用潜力备受瞩目，尤其是在医学问答（Medical QA）任务中，已有模型在执业医师资格考试中取得令人瞩目的成绩。然而，现有基准多聚焦于英语，且缺乏由医学专家撰写的黄金参考解释，难以全面评估模型的推理能力与多语言表现。为弥补这一空白，西班牙巴斯克大学HiTZ中心的研究团队于2024年提出了MedExpQA——首个多语言医学问答基准，涵盖英语、法语、意大利语和西班牙语四种语言。该基准基于CasiMedicos数据集，包含由医生手工撰写的黄金解释，旨在为LLM在医学问答中的推理能力提供更严谨的评估框架，推动多语言医学人工智能的发展。

当前挑战

MedExpQA所面临的挑战涵盖领域问题与构建过程两个层面。在领域层面，LLM在医学问答中仍受困于幻觉生成与知识过时的问题，且现有基准缺乏黄金解释来评估模型的推理过程，多语言场景下的表现更是严重不足。实验表明，即便采用先进的检索增强生成（RAG）技术，模型在法语、意大利语和西班牙语上的准确率仍远低于英语，凸显了多语言医学问答的紧迫性。在构建过程中，团队需处理多语言数据的翻译与对齐，确保黄金解释的质量一致性，同时应对部分解释缺乏结构化或包含无关信息的问题，这些都增加了基准构建的复杂性与挑战。

常用场景

经典使用场景

在医学自然语言处理领域，MedExpQA作为首个多语言医学问答基准，其核心应用场景在于评估大型语言模型在临床决策支持中的推理能力。通过整合西班牙语住院医师考试（MIR）的真实病例与多选题，该基准不仅要求模型从五个选项中甄别正确答案，更创新性地引入由执业医师撰写的金标准解释，用以检验模型是否具备基于复杂医学证据进行逻辑推导的素养。这一设计使得研究者能够系统性地对比模型在零样本与微调设置下的表现，尤其关注其在不同语言环境中的泛化能力。

实际应用

在实际临床场景中，MedExpQA所构建的评估框架直接服务于住院医师培训与继续医学教育。例如，利用该基准微调后的模型可辅助医学生解析病例中的诊疗逻辑，通过对比模型输出的解释与专家标注的推理路径，实现个性化学习反馈。此外，其多语言特性使得跨国医疗协作中的知识迁移成为可能，例如将西班牙语的罕见病诊疗经验通过模型转化为法语或意大利语的临床提示。这种技术路线正在推动从被动式知识检索向主动式临床推理辅助的范式转变。

衍生相关工作

MedExpQA的诞生催生了多条研究脉络。一方面，基于其金标准解释的标注范式，后续工作如MedRAG-X扩展了检索增强生成的动态知识融合策略，通过对比BM25与MedCPT等检索器在不同语言上的表现，优化了医学知识图谱的构建方法。另一方面，该基准启发了针对低资源语言的跨语言迁移学习研究，例如利用对抗训练缩小英语与罗曼语族之间的语义表征差异。此外，其公开的微调模型权重（如BioMistral变体）已成为评估新型医学LLM的事实标准，推动了从PMC-LLaMA到ClinicalGPT等架构的迭代优化。