MIMIC-IV-Note
收藏arXiv2024-03-09 更新2024-08-06 收录
下载链接:
http://arxiv.org/abs/2403.05720v1
下载链接
链接失效反馈官方服务:
资源简介:
MIMIC-IV-Note数据集是由斯坦福大学从Beth Israel Deaconess Medical Center收集的331,794份去标识化出院总结中提取的,包含270,033对临床笔记和简短医院过程(BHC)摘要。该数据集专为BHC摘要任务设计,强调临床笔记与相应BHC之间的关系。创建此基准数据集对于复制研究结果和比较未来工作至关重要。数据集的应用领域是自动化或加速BHC笔记生成,解决出院摘要可能缺乏关键信息或包含错误信息的问题,特别是在随访预约前确保信息的完整性。
MIMIC-IV-Note dataset is extracted from 331,794 de-identified discharge summaries collected by Stanford University from Beth Israel Deaconess Medical Center, comprising 270,033 pairs of clinical notes and brief hospital course (BHC) summaries. This dataset is specifically designed for the BHC summarization task, emphasizing the relational connection between clinical notes and their corresponding BHC summaries. Constructing this benchmark dataset is critical for replicating research outcomes and supporting comparative evaluations of future research endeavors. Its application domains include automating or accelerating the generation of BHC notes, addressing the problems that discharge summaries may lack key information or contain erroneous content, with particular emphasis on ensuring information integrity prior to follow-up appointments.
提供机构:
斯坦福大学创建时间:
2024-03-09
搜集汇总
数据集介绍

构建方式
在临床文档自动化的浪潮中,MIMIC-IV-Note数据集应运而生,旨在为生成住院病程摘要(BHC)提供标准化基准。该数据集源自MIMIC-IV原始临床笔记,经过精心设计的数据预处理流水线构建而成:通过正则表达式去除特殊字符与冗余文本,以换行符分割各章节并生成规范标题,最终从331,794份去标识化出院小结中提取出270,033对结构化的临床笔记与BHC配对样本。数据集按输入上下文长度划分为0-1,024、1,024-2,048、2,048-4,096三类子集,每类包含2,000个训练样本与100个独立测试样本,为不同规模的语言模型适配提供了灵活的数据基础。
特点
该数据集的核心特色在于其精细化的层次结构与临床实用性。每一对样本均以结构化字段呈现输入临床笔记(如性别、主诉、体格检查等)与输出BHC摘要,平均输入词元长度为2,267±914,输出长度为564±410,充分反映了真实临床文档的复杂性与长度多样性。数据集特别关注上下文长度对模型性能的影响,通过分区间采样支持对模型鲁棒性的系统评估。此外,所有样本均来自贝斯以色列女执事医疗中心的多科室病例,涵盖广泛疾病谱系,确保了数据集的代表性与泛化潜力。
使用方法
该数据集专为临床文本摘要任务设计,支持多种大语言模型的域适应策略。研究者可将其作为基准,采用提示工程(如零样本、前缀提示、上下文学习)或参数高效微调(如QLoRA)来适配开源模型(如Llama2-13B、Clinical-T5-Large)与商业模型(如GPT-3.5、GPT-4)。适配过程中,模型以临床笔记为输入,生成对应BHC摘要,并通过BLEU、ROUGE-L、BERT-Score等指标进行定量评估。结合临床专家对摘要的全面性、简洁性、事实正确性与流畅性的盲法评审,该数据集为衡量与优化LLM在医疗文档生成中的表现提供了完整框架。
背景与挑战
背景概述
在临床实践中,医护人员需耗费大量时间撰写临床文档,其中简要住院病程(BHC)摘要是住院病例总结的核心组成部分,其质量直接影响患者安全与后续诊疗衔接。然而,传统人工撰写方式不仅效率低下,且易出现信息遗漏或错误。随着大型语言模型(LLM)在自然语言处理领域取得突破性进展,将其应用于临床文本摘要生成成为缓解文书负担的重要方向。MIMIC-IV-Note数据集正是基于这一背景,于2023年由麻省理工学院计算生理学实验室与贝斯以色列女执事医疗中心联合构建,包含超过33万份去标识化出院记录。该数据集的核心研究问题在于:如何通过领域自适应策略,使通用型与医学专用型LLM能够从复杂临床笔记中准确生成BHC摘要,从而推动自动化临床文档生成技术的发展。其发布为后续研究提供了标准化基准,显著促进了临床自然语言处理领域的进步。
当前挑战
MIMIC-IV-Note数据集面临的挑战主要体现在两个层面。在领域问题层面,BHC摘要生成要求模型在理解冗长、多源临床笔记的同时,需兼顾医学信息的完整性、事实准确性以及表述的简洁性,这对LLM的上下文理解与知识整合能力提出了严苛要求。现有模型在处理超过4000 token的长文本时,性能显著下降,且定量评估指标(如BLEU、ROUGE-L)与临床医师的主观偏好存在不一致性,表明单纯依赖语义相似度难以衡量摘要的临床实用性。在数据集构建层面,原始MIMIC-IV笔记包含大量非结构化文本、特殊符号及冗余信息,需通过精细的正则表达式与分词器进行预处理,以提取270033对临床笔记-BHC配对样本。此外,训练数据中不同上下文长度的样本分布不均,导致模型在超出训练分布的长文本推理时表现恶化,且跨人群亚组分析显示部分模型(如Clinical-T5-Large)存在显著的性能波动,凸显了数据多样性不足与公平性验证的挑战。
常用场景
经典使用场景
MIMIC-IV-Note数据集在临床自然语言处理领域中被广泛用作构建和评估自动摘要系统的基石。其核心应用场景在于从冗长且结构复杂的临床笔记中,精准提取关键信息并生成简明扼要的住院病程摘要(BHC)。研究者利用该数据集提供的临床笔记与对应专家撰写的BHC配对样本,训练和测试各类大语言模型在医疗文本压缩与信息重组方面的能力,从而推动临床文档自动化生成技术的发展。
实际应用
在实际临床环境中,MIMIC-IV-Note数据集支撑的模型可显著减轻医护人员的文书负担。通过自动生成住院病程摘要,医生能够将更多精力投入患者诊疗而非繁琐的记录工作。此外,该数据集驱动的摘要系统还可集成至电子健康记录平台,在患者转诊、出院规划及多学科会诊时快速提供关键临床概要,减少因信息遗漏或错误导致的医疗风险,从而提升整体医疗服务的效率与安全性。
衍生相关工作
基于MIMIC-IV-Note数据集,衍生出一系列经典工作,包括利用轻量级域适应技术(如QLoRA)微调开源大语言模型以提升摘要质量,以及通过上下文学习策略优化GPT-4等闭源模型在长文本摘要中的鲁棒性。此外,该数据集还催生了针对不同临床场景的专项研究,如放射报告摘要、医患对话压缩以及诊断相关分组预测,进一步拓展了临床文本自动生成的研究边界,并推动了从模型评估到实际部署的全链条技术演进。
以上内容由遇见数据集搜集并总结生成



