MedQA

arXiv2020-09-28 更新2024-08-06 收录

下载链接：

http://arxiv.org/abs/2009.13081v1

下载链接

链接失效反馈

官方服务：

资源简介：

首个自由形式的医学问题解答多选题开放领域问答数据集，来源于专业医学考试，涵盖英语、简体中文和繁体中文三种语言，分别包含12,723、34,251和14,123个问题。

The first free-form multiple-choice open-domain medical question answering dataset, sourced from professional medical examinations, covers three languages: English, Simplified Chinese and Traditional Chinese, with 12,723, 34,251 and 14,123 questions respectively.

创建时间：

2020-09-28

搜集汇总

数据集介绍

构建方式

MedQA数据集从美国、中国大陆及台湾地区的执业医师资格考试中采集题目，涵盖英语、简体中文和繁体中文三种语言，分别包含12,723、34,251和14,123道题目。每道题目为四选一形式，通过随机打乱选项顺序并删除一个错误选项来确保公平性。同时，为支持开放域问答任务，研究团队收集了18本英文医学教科书和33本简体中文医学教科书作为知识库，通过OCR技术将PDF转换为数字文本，并经过拼写修正和段落划分等预处理，最终形成包含超过1200万词元的英文文档集合与超过1400万字符的中文文档集合。

使用方法

MedQA数据集的使用遵循开放域问答的标准范式，即先通过信息检索系统从医学教科书集合中召回相关段落，再借助机器阅读理解模型从召回文本中推断答案。研究团队提供了多种基线方法，包括基于PMI和BM25的规则型检索器，以及结合BERT、BioBERT等预训练语言模型的神经阅读器。用户可基于官方发布的脚本进行数据处理与模型训练，将题目与选项拼接后输入检索器获取Top-N段落，再将其与问题-选项对共同输入阅读器进行评分，最终选择得分最高的选项作为答案。

背景与挑战

背景概述

在自然语言处理领域，开放域问答任务近年来备受关注，其要求模型能够从大规模文本库中自主检索并推理出问题的答案。然而，现有数据集多聚焦于常识性或中小学知识水平的问题，难以支撑复杂现实场景的挑战。为填补这一空白，麻省理工学院与华中科技大学的研究人员于2020年联合发布了MedQA数据集，该数据集源自美国、中国大陆及台湾地区的执业医师资格考试，包含英语、简体中文和繁体中文三种语言，共计超过6万道题目。MedQA旨在评估模型在专业医学知识推理方面的能力，其问题不仅涉及单一知识点的提取，更强调从冗长临床描述中进行多跳逻辑推理，对现有开放域问答系统构成了严峻考验。该数据集的问世推动了医学领域自然语言处理的研究，并为构建更强大、更具通用性的问答模型提供了重要平台。

当前挑战

MedQA面临的挑战主要体现在两方面。其一，该数据集所解决的领域问题要求模型具备深厚的医学专业知识与复杂的推理能力，不同于以往依赖常识或显式文本匹配的问答任务。问题类型多样，涵盖从症状描述到诊断推断的多步推理，且需从海量教科书中检索并整合分散的线索，这对检索模块的准确性及阅读模块的语义理解能力均提出了极高要求。其二，数据集构建过程中亦充满挑战：来自不同地区的考题在语言、文化及医学标准上存在差异，需进行跨语言处理与知识对齐；同时，从PDF格式的教科书中提取并清洗文本数据，确保覆盖足够的知识面，亦是一项繁重任务。实验表明，即便采用大型预训练模型，最佳方法在英语试题上的准确率仅达36.7%，凸显了该数据集的巨大难度。

常用场景

经典使用场景

在自然语言处理与医学人工智能的交叉领域中，MedQA数据集作为首个大规模医学开放域多项选择问答基准，其经典使用场景聚焦于评估模型在无预设上下文条件下，从海量医学教科书中检索并推理出正确答案的能力。该数据集模拟了真实临床决策环境，要求系统首先通过信息检索模块从包含数十万段落的医学文献库中筛选相关证据，随后利用阅读理解模块对患者主诉、体征及实验室检查结果进行多步逻辑推理，最终从四个选项中选出最可能的诊断、治疗方案或病理机制。这一范式深刻反映了医学问答任务中‘检索-推理’双阶段协同的挑战性。

解决学术问题

MedQA的提出系统性地解决了现有开放域问答数据集缺乏专业领域深度与复杂推理需求的问题。此前数据集如ARC或OpenBookQA仅涉及中小学常识，而MedQA源自美国、中国大陆及台湾地区的执业医师资格考试，其问题涵盖内科学、外科学等多学科知识，且超过98%的英文题目属于需要多步推理的病例分析型。该数据集揭示了当前最强预训练模型（如BioBERT-Large）在此任务上准确率仅达36.7%的显著瓶颈，从而推动了学术界对文档检索器多跳推理能力不足、噪声证据干扰等核心问题的关注，为构建融合专业知识的通用问答模型提供了关键实验平台。

实际应用

在实际应用层面，MedQA所代表的医学开放域问答技术具有深远的临床赋能价值。该系统可集成至辅助诊疗平台，帮助基层医生或医学生在面对复杂病例时，通过自然语言描述快速检索权威教科书证据，并生成鉴别诊断建议。例如，在急诊场景下，模型能依据患者症状、既往史及实验室数据，自动匹配最可能的病原体或遗传突变，从而缩短诊断时间并降低误诊率。此外，该技术还可拓展至医学教育领域，用于构建智能化的题库解析系统，为考生提供基于证据链的答题思路，实现从被动知识记忆到临床推理能力培养的范式转变。

数据集最近研究