HPAI-BSC/OpenMedQA

OpenMedQA是一个开放式的医疗问答基准数据集，用于评估大型语言模型在生成自由文本医疗回答方面的表现。它通过将MedQA数据集中的多项选择题转化为开放式问题，保持了原始问题的医疗意图，使得该数据集基于验证的医疗知识。数据集由1272个转化的开放式问题组成，去除了一个需要观察图像来回答的问题。OpenMedQA is an open-ended medical question-answering benchmark designed to evaluate the capabilities of large language models in generating free-text medical responses. It is derived from the MedQA dataset by transforming multiple-choice questions into open-ended ones while preserving the original medical intent, ensuring the dataset is grounded in verified medical knowledge. The dataset consists of 1,272 rephrased open-ended questions, with one question that requires observing an image to answer removed.

搜集汇总

数据集介绍

构建方式

在医学人工智能评估领域，传统多项选择问答（MCQA）基准虽能衡量模型的事实知识，却难以模拟临床实践中医生需生成详细、上下文相关回答的真实场景。为弥补这一局限，OpenMedQA数据集应运而生。该数据集源于广受认可的MedQA基准，通过利用DeepSeek-R1模型将原始1,273道多项选择题重新表述为开放式问题，同时严格保留其医学意图。在转换过程中，仅保留原多项选择格式中的正确选项作为开放式问题的唯一答案，确保数据集根植于经过验证的医学知识。最终，除了一道需依赖图像作答的题目（原始测试集索引454）外，成功获得了1,272道高质量的开放式医学问答对，构成了这一专为评估大语言模型自由文本生成能力而设计的基准。

使用方法

使用OpenMedQA数据集时，研究者可将其作为大语言模型在医学领域开放式问答能力的标准评估工具。数据集以HuggingFace格式托管，用户可通过简单的API调用加载数据，每个样本包含重新表述后的开放式问题以及对应的正确答案。评估流程通常包括：首先让目标模型对每个问题生成自由文本回答，然后采用自动评估指标（如ROUGE、BLEU）或人工评估方式，将模型输出与标准答案进行比对。此外，研究者还可利用该数据集进行多项选择与开放式表现的对比实验，通过控制变量（如同一个模型在两种格式下的得分差异）来深入分析模型的推理能力和知识应用水平。由于数据集规模适中，计算成本可控，适合快速迭代和基准测试。

背景与挑战

背景概述

OpenMedQA是由巴塞罗那超级计算中心（BSC）的健康与人工智能（HPAI）研究团队于2024年创建的一项开放领域医学问答基准数据集，主要研究人员包括Jordi Bayarri Planas等。该数据集的核心研究问题在于突破传统医学人工智能评估中局限于多项选择题（MCQA）的范式，转而探索大语言模型（LLMs）在生成自由文本医学回答方面的能力。通过将著名的MedQA数据集中的多项选择题改写为开放式问题，OpenMedQA保留了原始医学知识的严谨性，同时更贴近临床实践中医生需要构建详尽、上下文相关回答的真实场景。该数据集的发布为医学AI系统的全面评估提供了新视角，推动了模型从事实性知识记忆向复杂临床推理能力的转变，对医疗AI领域产生了深远影响。

当前挑战

OpenMedQA所解决的领域问题在于，传统医学问答基准如MedQA仅通过多项选择评估模型的事实性知识，无法反映真实临床环境中医生所需具备的开放式应答与推理能力。构建过程中的核心挑战包括：其一，将1,273道多项选择题准确改写为开放式问题，需确保改写后的问题不偏离原始医学意图，且答案仅对应正确选项，这要求精细的语义转换与知识验证；其二，因原始数据中一题依赖图像信息而被剔除，最终获得1,272道有效问题，体现了处理多模态数据缺失时的审慎态度；其三，如何确保改写后的问题能够公平、有效地评估LLMs的生成能力，避免引入偏差，也是设计中的重要考量。

常用场景

经典使用场景

OpenMedQA作为医学领域开放问答基准，其经典使用场景在于评估大语言模型生成自由文本医学回答的能力。该数据集将MedQA的多选题重新表述为开放式问题，保留原始医学意图，使得研究者能够直接比较模型在多项选择问答与开放式问答两种模式下的表现。这种设计不仅考察模型对医学知识的记忆，更检验其综合推理与自然语言生成能力，为全面评估医学人工智能系统提供了标准化测试平台。

解决学术问题

OpenMedQA解决了传统医学问答评估局限于多项选择的学术困境。多项选择基准虽能衡量事实知识，却无法反映真实临床场景中医生需构建详细且具上下文感知回答的复杂性。该数据集通过开放式问题格式，推动医学AI评估超越简单选项识别，深入探究模型在自由文本生成中的逻辑连贯性、医学准确性及临床适用性，弥补了现有评估体系的关键空白。

实际应用

在实际应用中，OpenMedQA可模拟临床咨询场景，测试AI辅助诊断系统对患者开放式提问的应对能力。例如，当患者描述症状并询问可能病因时，模型需生成结构合理、信息准确的医学解释。该数据集还可用于训练医疗聊天机器人、临床决策支持工具，确保其输出既符合医学规范，又能以自然语言与用户有效沟通，从而提升人机协作在医疗领域的实用价值。

数据集最近研究

最新研究方向

在医学人工智能领域，传统的多项选择问答基准虽能评估模型的静态知识储备，却难以捕捉临床实践中所需的动态推理与开放式应答能力。OpenMedQA数据集的出现恰逢其时，它通过将MedQA中的选择题重构为开放式问题，为大型语言模型在医学领域的自由文本生成能力提供了全新的评估维度。这一创新紧密关联当前医疗AI的前沿热点——从辅助诊断到临床决策支持，模型不仅需要识别正确答案，更要能像医生一样条理清晰地阐述病理机制与治疗逻辑。该数据集的发布推动了对模型生成内容的忠实度、完整性及安全性的深度检验，其意义在于促使研究者重新审视现有评估体系的局限性，并为构建更贴近真实医疗场景的智能系统奠定了方法论基础。