ArchEHR-QA

ArchEHR-QA数据集是一个新颖的专家注释数据集，基于重症监护室和急诊室环境中的真实世界患者案例。数据集包含患者向公共卫生论坛提出的问题、临床医生解释的对应问题、相关临床笔记摘录以及临床医生撰写的答案。该数据集旨在支持以患者为中心的电子健康记录（EHR）问答系统的开发和评估。数据集共包含134个患者案例，每个案例都包含患者提出的问题、相应的临床医生解释、临床笔记摘录以及临床医生撰写的答案。数据集的创建过程包括从公共卫生论坛和电子健康记录数据库中收集数据，并将患者提出的问题与相应的临床笔记进行对齐。数据集的应用领域是电子健康记录问答系统，旨在解决患者在住院期间对临床证据的信息需求。The ArchEHR-QA dataset is a novel expert-annotated dataset based on real-world patient cases in intensive care unit (ICU) and emergency department (ED) settings. It contains questions raised by patients on public health forums, corresponding explanations from clinicians, excerpts of relevant clinical notes, and answers written by clinicians. This dataset aims to support the development and evaluation of patient-centric electronic health record (EHR) question answering (QA) systems. In total, the dataset includes 134 patient cases, each containing the patient’s question, corresponding clinician explanation, clinical note excerpts, and clinician-authored answers. The dataset was constructed by collecting data from public health forums and EHR databases, and aligning the patients’ questions with their corresponding clinical notes. Its application focuses on EHR QA systems, targeting the resolution of patients’ information needs regarding clinical evidence during their hospitalization.

搜集汇总

数据集介绍

构建方式

在电子健康记录（EHR）领域，患者对住院过程的信息需求常被忽视，而现有数据集多聚焦于临床医生视角。为弥合这一鸿沟，研究者通过创新性地对齐两个公开资源构建了ArchEHR-QA：从HealthCareMagic论坛筛选出反映真实出院后信息需求的帖子，再基于词汇增强与BM25检索从MIMIC-III/IV数据库中召回候选出院小结，经人工审查确保对齐后，对帖子进行最小化编辑以匹配笔记细节。随后，临床信息学家与执业医师对帖子中的焦点区域进行标注，将其转化为临床医生视角的提问，并对笔记中每个句子标注“必要”“补充”或“不相关”的重要性标签。最后，雇佣执业医师撰写约75词的金标准答案，所有标注均经双人复核，确保高质量。

特点

该数据集的核心独特性在于首次将患者真实提问与对应的结构化临床证据耦合，覆盖134例重症监护室与急诊科病例。每例包含患者原始叙述、临床医生转译的精准提问、经句子级相关性标注的出院小结摘录及医生撰写的答案，其中必要句子占比25.7%，补充句子占20.1%。平均叙述长度91.3词，临床提问仅10.5词，而答案长度严格控制在约5句（72.6词）。这种精密的层次化结构不仅支持对模型证据利用的细粒度评估（如对必要句子的召回率），还可通过双重相关性定义（仅必要或必要+补充）量化模型识别核心信息与辅助细节的能力差异。

使用方法

研究者设计了接地气的问答基准任务：模型需基于输入的患者与临床医生提问及笔记摘录，生成带引用的答案。为评估不同引用策略的影响，提出了三种提示方法：同步生成答案与引用、先生成答案后追加引用、仅基于预筛选的句子生成答案。使用Llama 4、Llama 3.3和Mixtral三种开源大模型在零样本设置下实验，通过事实性（基于引用与金标准标注的F1分数）和相关性（与医生答案的文本及语义相似度）双维度评估。结果显示，先生成答案后引用策略性能最优，Llama 4在事实性上领先（F1达51.8%），而Mixtral在相关性上表现最佳（33.8%），错误分析揭示了遗漏关键证据和引入矛盾信息等常见问题。

背景与挑战

背景概述

在患者日益深度参与自身诊疗决策的背景下，满足其围绕住院过程产生的独特信息需求成为现代医疗的重要课题。然而，现有电子健康记录（EHR）问答系统多聚焦于临床医生视角，缺乏以患者为中心的高质量基准数据集。为弥补这一空白，美国国立医学图书馆的Sarvesh Soni与Dina Demner-Fushman于2025年创建了ArchEHR-QA数据集。该数据集基于MIMIC-III和MIMIC-IV真实EHR数据，通过创新性地将公开健康论坛的患者提问与对应的出院小结对齐，构建了包含134个真实病例、患者叙事、临床解读问题、句子级相关标注及临床医生撰写答案的综合性资源，为评估AI系统在EHR语境下的事实准确性与回答相关性提供了首个公开基准。

当前挑战

该领域面临的核心挑战在于构建能精准锚定临床证据的患者中心化问答系统。一方面，患者与临床医生在术语、信息需求上存在显著鸿沟——患者叙述平均长达91.3词，而临床问题仅10.5词，且词汇差异（如‘盆腔’对‘会阴下’）导致语义匹配困难。另一方面，数据集构建中需解决两大难题：一是将来源不同的论坛帖子与EHR记录进行可靠对齐，避免虚构事实；二是实现精细的句子级相关性标注，在26句平均长度的临床摘要中准确区分‘必需’（占25.7%）、‘补充’（20.1%）与非相关内容。此外，现有大语言模型的表现揭示出严重不足——最优模型Llama 4在事实性F1上仅达51.8%，常遗漏关键证据（如胸膜穿刺术）、产生幻觉或错误归因（如将低氧归因于胸片），且对‘常见’与‘补充’证据的平衡利用困难重重，凸显了提升患者中心EHR问答系统事实一致性与临床相关性的迫切需求。

常用场景

经典使用场景

在临床自然语言处理与医学信息学领域，ArchEHR-QA数据集的经典使用场景聚焦于构建和评估面向患者的电子病历问答系统。该数据集通过将真实患者发起的健康论坛问题与重症监护及急诊场景下的临床记录进行精准对齐，为研究如何从电子健康档案中提取并整合关键临床证据以回应患者个性化信息需求提供了黄金标准。研究者可借助其中包含的患者问题、临床解读版本、句子级相关性标注以及临床医生撰写的参考答案，系统性地训练和检验大型语言模型在零样本条件下的事实性与相关性表现，从而推动患者参与度日益提升背景下的精准医疗信息交互研究。

实际应用

实际应用中，ArchEHR-QA数据集的成果可无缝部署至患者门户消息自动回复、出院指导智能生成及健康问询机器人等场景。鉴于当前患者通过医院门户发送的医疗信息查询量激增，直接加重了临床医生的文书工作负担，基于该数据集所开发的问答系统能够从电子健康档案中即时提取关键诊疗细节，生成附有原文引证的个性化答复草案。这不仅有助于缓解桌面医疗带来的职业疲劳，还能确保患者获得具备临床依据的可靠信息。此外，该框架还可拓展至急诊分诊台或远程监测平台，利用自动生成的草案供医生审核后发送，从而在保障医疗安全的前提下显著提升医患沟通效率与信息透明度。

衍生相关工作

ArchEHR-QA数据集的发布催生了一系列具有深远影响的衍生研究工作，其中最引人注目的是以该数据集为核心举办的BioNLP 2025专题共享任务。该共享任务吸引了来自30个研究团队的76个系统提交，有力地推动了面向电子病历的接地问答技术从各自为战走向标准化评测。在算法创新层面，研究者基于此数据集开发了多种启发式检索与提示策略，例如优先生成答案再补充引用来源的'Answer First'方法，在大幅提升事实性指标的同时验证了检索增强生成范式在临床领域的适用性。此外，该数据集中的句子级相关性标注资源也被成功迁移至临床信息检索与患者问题摘要等下游任务，为构建全天候、高保真的临床决策支持系统奠定了坚实的评测基础。