MEDEVAL

MEDEVAL是一个多层次、多任务、多领域的医疗基准数据集，旨在促进医疗领域语言模型的发展。该数据集包含来自多个医疗系统的数据，覆盖35个人体部位和8种检查模式，共有22,779个收集的句子和21,228份报告。数据集提供多层次的专家标注，支持广泛的医疗任务。MEDEVAL的应用领域包括医疗报告的自动分类和生成，旨在提高医疗决策的效率和准确性。MEDEVAL is a multi-level, multi-task, multi-domain medical benchmark dataset designed to advance the development of language models in the medical field. This dataset contains data from multiple medical systems, covering 35 human body parts and 8 imaging modalities, with a total of 22,779 collected sentences and 21,228 medical reports. It provides multi-level expert annotations to support a wide range of medical tasks. Application scenarios of MEDEVAL include automatic classification and generation of medical reports, aiming to improve the efficiency and accuracy of medical decision-making.

搜集汇总

数据集介绍

构建方式

MEDEVAL数据集源自两大医疗系统的真实影像学报告，涵盖22,779条句子级数据与21,228份完整报告。句子级语料来自OpenI标注数据集与VA标注数据集，经过脱敏、缺失项补全及唯一性校验；报告级语料则从MIMIC-CXR与全美退伍军人事务部医疗系统中采集，覆盖8种检查模态与35个人体部位。所有数据均经自动脱敏与人工复核，确保无隐私泄露。医学专家团队为句子与文档两个粒度分别提供了分类与生成任务的黄金标准标注，包括异常识别、歧义判断、歧义重写、报告编码预测及报告摘要。数据集按7:1:2比例划分为训练、验证与测试集。

使用方法

MEDEVAL可用于评估语言模型在医疗领域的泛化能力与任务适应性。用户可针对句子级任务（如异常识别、歧义分类与重写）或文档级任务（如疾病编码预测与报告摘要）进行零样本或少样本提示学习，也可对领域自适应预训练模型进行微调。数据集提供了明确的训练、验证与测试划分，便于复现与比较。建议结合专家审核使用，以确保模型输出在真实临床场景中的安全性与可靠性。代码与数据已在GitHub上开源，支持研究者便捷调用与扩展。

背景与挑战

背景概述

在临床自然语言处理领域，高质量标注数据集的稀缺性长期制约着语言模型在医疗场景中的深度应用。现有数据集多源于公开文献或网络资源，虽规模可观，却因主题异质性而难以支撑精准的临床决策。为弥补这一空白，加州大学圣迭戈分校与退伍军人事务部圣迭戈医疗系统的研究团队于2023年提出了MEDEVAL基准。该数据集涵盖22,779条句子级数据和21,228份完整报告，跨越8种检查模态与35个人体区域，由资深放射科专家进行多粒度标注。MEDEVAL不仅支持异常识别、歧义检测、报告编码与摘要生成等多任务评估，更首次实现了跨领域、跨层级的系统性医疗语言模型评测，为临床NLP研究提供了权威的测试平台。

当前挑战

MEDEVAL所面临的挑战具有多重维度。首先，在领域问题层面，现有语言模型在处理罕见检查模态或非胸部区域（如足部、踝部）时表现显著下降，暴露出对多样化医疗数据分布的适应能力不足。其次，在构建过程中，数据获取需突破隐私保护壁垒：所有报告须经自动去标识与人工复核双重校验，并采用脱敏改写技术确保合规。此外，专家标注面临巨大成本压力，歧义句识别与改写任务需放射科医生反复校验直至Cohen's Kappa达到0.85，而疾病编码标注则需结合规则工具与人工审校，确保跨模态标注的一致性。这些挑战共同构成了MEDEVAL作为高质量医疗基准的核心技术门槛。

常用场景

经典使用场景

在临床自然语言处理领域，MEDEVAL被广泛用作评估语言模型在医疗文本理解与生成任务中表现的综合基准。其经典使用场景涵盖句子级别的异常发现识别与歧义检测，以及文档级别的报告编码预测与摘要生成。研究者通常利用其多层级、多任务、多领域的特性，系统性地对比领域自适应预训练模型与通用大规模语言模型在零样本和微调设置下的性能差异，从而揭示不同模型在医疗决策支持中的适用边界。

解决学术问题

MEDEVAL解决了医疗领域高质量标注数据匮乏且覆盖范围有限的学术难题。通过整合来自多个医疗系统的放射学报告，覆盖35个人体部位与8种检查模态，该数据集填补了现有基准如MIMIC-CXR仅聚焦胸部或M3仅关注眼科的单领域空白。它使研究者能够深入探究语言模型在常见与罕见疾病领域、以及不同任务粒度下的泛化能力，尤其揭示了指令微调对于提升大语言模型在医疗决策中遵循任务指令的关键作用。

实际应用

在实际应用中，MEDEVAL为构建辅助临床诊断的智能系统提供了坚实的数据基础。其句子级歧义重写任务可帮助患者更清晰理解影像报告，减少因医学术语模糊导致的诊疗延误；文档级报告摘要生成则能有效减轻放射科医师的文书负担，提升临床工作流程效率。此外，基于该数据集的模型评估结果，医疗IT部门可更合理地选择适合特定场景的语言模型，例如在理解任务中优先采用微调后的领域模型，而在生成任务中则倾向于使用提示式大语言模型。

数据集最近研究

最新研究方向

在医疗人工智能领域，语言模型的临床部署面临数据稀缺与领域适配的双重挑战。MEDEVAL作为首个覆盖35个人体区域、8种检查模态的多层级医疗基准，通过整合22,779条句子级与21,228篇文档级专家标注，系统性地推动了语言模型在异常识别、歧义消解、报告编码与摘要生成等前沿任务中的评估。该基准揭示了指令微调对大型语言模型在医疗场景中泛化能力的关键作用，并对比了领域适配模型与通用大模型在理解与生成任务上的性能差异，为构建可信赖的临床决策支持系统提供了重要参考。其多领域、多粒度的设计范式，有效弥补了现有基准在数据多样性与任务全面性上的不足，对加速医疗NLP研究具有深远意义。

相关研究论文

• MedEval: A Multi-Level, Multi-Task, and Multi-Domain Medical Benchmark for Language Model Evaluation

  加州大学圣地亚哥分校 · 2023年