aisc-team-a1/augmented-clinical-notes

Augmented Clinical Notes数据集是一个扩展的现有数据集，包含30,000个三元组，来源于不同来源：真实临床笔记（PMC-Patients）、合成对话（NoteChat）和结构化患者信息（使用GPT-4生成）。该数据集用于训练MediNote-7B和MediNote-13B模型，这些模型是从MediTron大型语言模型微调而来的临床笔记生成器。数据集主要用于从对话中提取结构化患者信息，也可用于医疗领域的其他应用，如从临床笔记中提取全面的表格患者特征。

原始信息汇总

增强临床笔记数据集

数据集概述

• 名称: 增强临床笔记 (Augmented Clinical Notes)
• 任务类别: 文本生成
• 语言: 英语
• 大小: 10K<n<100K
• 标签: 医疗, 健康

数据集详情

• 特征:
  • idx: 字符串类型，唯一标识符
  • note: 字符串类型，NoteChat使用的临床笔记（可能被截断）
  • full_note: 字符串类型，完整的临床笔记
  • conversation: 字符串类型，患者-医生对话
  • summary: 字符串类型，患者信息摘要（JSON格式）
• 分割:
  • train: 包含30,000个样本，总字节数为355,231,590
• 下载大小: 158,941,722字节
• 数据集大小: 355,231,590字节

数据集创建

• 临床笔记: 主要来源是PMC-Patients数据集，包含167K个患者摘要。
• 合成对话: 使用NoteChat数据集，包含167K个合成患者-医生对话。
• 患者信息: 从30K个最长的临床笔记中提取结构化患者信息，使用GPT-4和定制的医疗信息模板。

数据集结构

• 字段:
  • idx: NoteChat数据集中的唯一标识符
  • note: NoteChat使用的临床笔记
  • full_note: 完整的临床笔记
  • conversation: 患者-医生对话
  • summary: 患者信息摘要（JSON格式）

使用

• 该数据集最初用于微调LLM以从对话中提取结构化患者信息，也可用于医疗领域的其他应用，如从临床笔记中提取综合表格患者特征。

偏差、风险和限制

• 合成数据: NoteChat对话是合成生成的，不完全真实。
• 代表性: PMC-Patients临床笔记来自英语PubMed Central出版物，因此过度代表英语国家的临床环境。

搜集汇总

数据集介绍

构建方式

在医疗文本生成领域中，高质量临床数据集的匮乏一直是制约模型发展的瓶颈。Augmented Clinical Notes数据集通过融合真实临床笔记与合成对话，构建了一个包含30,000个三元组的多源数据集。其构建方式独具匠心：首先，从PMC-Patients数据集中提取167K份真实患者摘要作为临床笔记来源；其次，基于NoteChat方法，利用GPT-3.5将临床笔记转化为合成医患对话；最后，通过GPT-4和定制化医疗信息模板，从最长30K份临床笔记中提取结构化患者信息摘要。这一流水线式构建策略，有效规避了真实医患对话数据因隐私法规而无法公开的困境。

特点

该数据集呈现出三个显著特点。其一，多模态信息互补，每个样本包含原始临床笔记、完整笔记、合成对话和结构化摘要四类字段，构建了从非结构化文本到结构化信息的完整映射。其二，规模与质量并重，训练集包含30,000个样本，且采用GPT-4生成的对话相较于早期版本具有更高真实性。其三，领域适配性强，数据源自PubMed Central的开放获取病例报告，覆盖丰富多样的临床场景，为医学自然语言处理任务提供了坚实的训练基础。

使用方法

该数据集的使用灵活多样，适用于多种医疗文本生成任务。用户可通过HuggingFace平台直接加载默认配置的训练集，获取每个样本的idx、note、full_note、conversation和summary字段。典型应用场景包括：基于对话生成结构化患者摘要的序列到序列模型训练、临床笔记自动摘要、以及医患对话生成等。推荐将summary字段作为目标输出，conversation或note作为输入，对MediTron等大型语言模型进行微调。数据集采用MIT开源协议，便于学术研究和商业应用。

背景与挑战

背景概述

在临床自然语言处理领域，从非结构化医疗文本中提取结构化患者信息是一项关键任务，对辅助临床决策与提升医疗效率具有深远意义。Augmented Clinical Notes数据集由哈佛医学院AISC团队于2023年创建，核心研究人员包括Antoine Bonnet与Paul Boulenger，依托EPFL与哈佛医学院的跨学科合作。该数据集旨在解决真实医患对话数据因隐私法规（如HIPAA）而无法公开获取的困境，通过整合PMC-Patients中的真实临床笔记、NoteChat生成的合成对话以及GPT-4提取的结构化患者摘要，构建了包含30,000组三元组的高质量资源。其影响力体现在支撑了MediNote-7B与MediNote-13B临床笔记生成模型的训练，为自动化医疗文书生成开辟了新路径，并推动了医学大语言模型在结构化信息抽取任务中的应用。

当前挑战

该数据集面临的核心挑战包括：其一，领域问题层面，真实临床对话数据的缺失迫使依赖合成数据，但合成对话存在真实性不足的局限，如ChatGPT生成的对话常呈现模式化问答，且可能出现信息泄露（如提示词意外重复），这限制了模型对真实医患交互复杂性的学习能力。其二，构建过程中，原始临床笔记来自英文PubMed Central文献，导致数据严重偏向英语国家临床场景，存在地域与语言代表性偏差；同时，部分笔记在对话生成前被截断，造成信息丢失，虽有意避免模型幻觉，却也牺牲了数据的完整性。此外，从非结构化笔记中自动提取结构化模板时，GPT-4的零样本生成可能引入噪声，需进一步验证模板的医学准确性与一致性。

常用场景

经典使用场景

Augmented Clinical Notes数据集的核心应用场景在于构建和评估从医患对话到结构化临床笔记的自动生成系统。该数据集巧妙地将真实的PMC-Patients临床笔记、基于GPT-3.5合成的NoteChat医患对话以及利用GPT-4提取的结构化患者信息摘要三者对齐，构成了一个独特的‘对话-笔记-摘要’三元组集合。这一设计使其成为训练大型语言模型（如MediNote系列）以完成临床笔记生成任务的黄金标准基准，模型可以学习将非结构化的医患对话流畅地转化为医生所需的、包含病史、症状、诊断与治疗计划的正式临床记录。

衍生相关工作

基于Augmented Clinical Notes数据集，已衍生出一系列具有影响力的经典工作，其中最引人注目的是MediNote系列模型。研究者利用该数据集对MediTron系列基础大语言模型进行指令微调，成功开发出MediNote-7B和MediNote-13B，这些模型专门用于从合成对话中生成结构化临床笔记，展示了合成数据在专业领域模型训练中的有效性。此外，该数据集构建的‘对话-笔记-摘要’三元组结构，也启发了后续研究者探索多任务学习框架，例如同时进行对话理解、信息抽取和文本生成。数据集中对对话质量的分析，如指出ChatGPT合成对话存在模式化问题，也促进了更先进的、基于多智能体对话生成流水线（如NoteChat的后续版本）的发展，旨在提升合成数据的真实性与多样性。

数据集最近研究

最新研究方向

在医疗大语言模型领域，基于合成数据增强的临床笔记生成正成为前沿热点。该数据集通过整合真实病例摘要（PMC-Patients）、GPT-3.5生成的医患对话（NoteChat）以及GPT-4提取的结构化患者信息，构建了3万组三元组，为弥合隐私保护与数据稀缺间的鸿沟提供了创新方案。其衍生模型MediNote系列（7B/13B）基于MediTron微调，专注于从对话中自动提取结构化临床摘要，显著提升了临床文档生成的效率与准确性。这一研究方向与当前医疗AI中‘从非结构化对话到结构化电子病历’的核心需求紧密相关，尤其在HIPAA法规限制下，合成数据的质控与幻觉抑制成为关键挑战。该数据集不仅推动了临床笔记自动化领域的技术边界，更为低资源医疗场景下的智能辅助决策提供了可复现的基准框架。