aisc-team-a1/guidelines

Clinical Guidelines数据集是一个包含47K临床实践指南的新数据集，这些指南来自17个高质量的在线医疗源。该数据集是Meditron大型语言模型（LLM）原始训练语料库的关键组成部分。我们公开发布了来自9个允许内容重新分发的源的37K文章子集，包括CCO、CDC、CMA、ICRC、NICE、PubMed、SPOR、WHO和WikiDoc。数据集主要用于文本生成任务，特别是在医疗领域的自然语言处理应用中。数据集的处理包括从PDF文档中提取文本、清理和格式化文本、去重和过滤非英语或过短的文章。数据集的结构包括每个指南文章的ID、来源、标题、URL、原始文本、清理后的文本和概述。

原始信息汇总

临床指南数据集概述

数据集基本信息

• 数据集名称: Clinical Guidelines
• 许可证: Common Crawl Foundation Terms of Use
• 任务类别: 文本生成
• 语言: 英语
• 大小类别: 10K<n<100K
• 标签: 医疗, 健康
• 数据集信息:
  • 特征:
    • id: 字符串
    • source: 字符串
    • title: 字符串
    • clean_text: 字符串
    • raw_text: 字符串
    • url: 字符串
    • overview: 字符串
  • 分割:
    • train: 37970个样本, 865223621字节
  • 下载大小: 424262411字节
  • 数据集大小: 865223621字节
  • 配置:
    • default: 训练数据路径为 data/train-*

数据集详细信息

• 语言: 仅英语
• 知识截止日期: 2023年8月

数据集创建

创建动机

该数据集旨在为大型语言模型（LLMs）的医学训练提供高质量的临床实践指南（CPGs）集合。数据集包含48,096篇文章，来自17个全球公认的医疗来源，涵盖多个医疗领域和地理区域。

源数据

临床实践指南是经过严格研究的框架，旨在指导医疗从业者和患者基于最新证据做出诊断、治疗和管理决策。这些指南通过专家之间的协作共识编制，以最大限度地提高效益，并考虑实际问题，如可用资源和环境。

数据收集和处理

PDF文档通过GROBID转换为文本。提取原始文本后，通过特定过程清理数据，排除无关或重复内容，如URL、参考文献、图表分隔符和不规则字符。文本被标准化为统一格式，并进行去重和过滤。

个人和敏感信息

文章为公开可访问，不包含个人或敏感信息。

数据集结构

每个数据集行代表一个临床实践指南文章，包含以下字段：

字段	描述
id	文章的唯一标识符
source	来源标签 (cco, cdc, cma, icrc, nice, spor, who 或 wikidoc)
title	文章标题
url	文章URL
raw_text	未处理的抓取文章文本
clean_text	清理和格式化的文章文本
overview	文章的简短摘要或摘要

使用

该数据集适用于与临床实践指南相关的文本生成任务，可用于训练语言模型和其他自然语言处理应用。

超出范围的使用

• 重新分发: 使用内容前请检查重新分发许可。
• 恶意使用: 不支持任何可能有害的使用。

偏差、风险和限制

• 同行评审质量: 大部分来源由国际认可的专业协会验证，但Wikidoc包含众包内容。
• 代表性: 该语料库为英语，过度代表英语区域。
• 时间范围: 指南不断更新，这些代表2023年8月的快照。

建议

鼓励用户帮助构建更多语言和地理区域的高质量同行评审临床实践指南语料库，并注意其当前的时间和地理范围限制。

致谢

感谢所有提供开放访问临床实践指南的社会。鼓励临床实践指南社区继续提供这些文档，并确保其易于使用。

作者

• 策展: Mary-Anne Hartley
• 抓取: Antoine Bonnet, Alexandre Sallinen, Igor Krawczuk, Kyle Matoba
• 清理: Antoine Bonnet, Alexandre Sallinen

引用

使用该临床指南语料库时，请引用相关工作：

@misc{chen2023meditron70b, title={MEDITRON-70B: Scaling Medical Pretraining for Large Language Models}, author={Zeming Chen and Alejandro Hernández-Cano and Angelika Romanou and Antoine Bonnet and Kyle Matoba and Francesco Salvi and Matteo Pagliardini and Simin Fan and Andreas Köpf and Amirkeivan Mohtashami and Alexandre Sallinen and Alireza Sakhaeirad and Vinitra Swamy and Igor Krawczuk and Deniz Bayazit and Axel Marmet and Syrielle Montariol and Mary-Anne Hartley and Martin Jaggi and Antoine Bosselut}, year={2023}, eprint={2311.16079}, archivePrefix={arXiv}, primaryClass={cs.CL} } @software{epfmedtrn, author = {Zeming Chen and Alejandro Hernández-Cano and Angelika Romanou and Antoine Bonnet and Kyle Matoba and Francesco Salvi and Matteo Pagliardini and Simin Fan and Andreas Köpf and Amirkeivan Mohtashami and Alexandre Sallinen and Alireza Sakhaeirad and Vinitra Swamy and Igor Krawczuk and Deniz Bayazit and Axel Marmet and Syrielle Montariol and Mary-Anne Hartley and Martin Jaggi and Antoine Bosselut}, title = {MediTron-70B: Scaling Medical Pretraining for Large Language Models}, month = November, year = 2023, url = {https://github.com/epfLLM/meditron} }

搜集汇总

数据集介绍

构建方式

临床实践指南数据集旨在为大型语言模型的医学预训练提供高质量语料。该数据集汇集了来自17个全球公认医学来源的约4.7万篇临床指南，涵盖高、低资源环境下的多个医学领域与地理区域。数据构建过程中，首先利用GROBID工具将PDF文档转换为文本，随后针对每个来源采用定制化清洗流程，剔除URL、参考文献、图表分隔符及格式异常字符等无关内容。文本被统一标准化为层级标题（以'#'标识）、段落间均匀间距（'\n\n'）及列表格式（'- '），最后通过标题匹配进行去重，并过滤掉过短或非英文的文章。公开版本包含来自CCO、CDC、CMA、ICRC、NICE、PubMed、SPOR、WHO及WikiDoc等9个允许内容再分发来源的约3.7万篇文章。

使用方法

该数据集主要面向文本生成任务，尤其适用于临床实践指南领域的语言模型训练及自然语言处理应用。用户可通过HuggingFace平台加载数据集，每个样本包含唯一标识符、来源标签、标题、URL、原始文本、清洗后文本及概述等字段。清洗后的文本已按统一格式标准化，可直接用于模型训练；若需自定义清洗流程，亦可使用原始文本字段。研究人员可基于该数据集微调医学领域的大型语言模型，如Meditron系列。使用时需注意遵守各来源的再分发许可协议，并警惕将模型输出直接用于临床决策的风险，任何医疗应用必须经过专业人员的随机对照试验验证安全性与有效性。数据集的代码和完整17个来源的抓取与清洗流程可在epfLLM/meditron代码库中获取。

背景与挑战

背景概述

临床实践指南作为循证医学的基石，系统整合了最新研究证据与专家共识，为医疗决策提供标准化框架。由瑞士洛桑联邦理工学院（EPFL）LLM团队于2023年主导构建的Clinical Guidelines数据集，汇集了来自17个全球权威医疗机构的约4.7万篇临床指南，旨在为大规模语言模型（如Meditron-70B）提供高质量的医学预训练语料。该数据集覆盖世界卫生组织、美国疾病控制与预防中心、英国国家健康与临床优化研究所等机构，横跨高、低资源环境及多种医学专科，显著推动了医学自然语言处理领域的发展，成为连接临床实践与人工智能的关键桥梁。

当前挑战

该数据集面临的核心挑战包括：其一，临床指南的异质性带来处理困难，不同来源在组织结构、篇幅长度、目标受众（医生或患者）及同行评审质量上差异显著，如WikiDoc的众包内容与传统机构指南的严谨性存在落差，需设计差异化清洗策略。其二，构建过程中需解决多源PDF文档的文本提取与格式化问题，使用GROBID转换后需定制化过滤无关内容（如URL、参考文献），并通过分层标题和统一间距实现标准化，但该流程可能误删有效信息或残留冗余。其三，数据时效性受限，指南持续更新，当前语料仅代表2023年8月的快照，需定期重新采集以确保临床相关性。

常用场景

经典使用场景

Clinical Guidelines数据集最经典的使用场景在于为大型语言模型提供高质量的医学预训练语料。该数据集汇集了来自17个国际权威医学机构的约4.7万篇临床实践指南，涵盖从全球卫生组织到区域性医疗机构的多元化指导框架。这些指南位于循证医学金字塔的顶端，是经过系统化专家共识形成的诊疗与管理的行动纲领。在自然语言处理领域，研究者通常利用该数据集对模型进行领域自适应预训练或指令微调，使其能够理解并生成专业、严谨的医学文本，从而增强模型在临床推理、诊断建议生成等任务上的表现。

解决学术问题

该数据集有效解决了医学自然语言处理中高质量领域语料匮乏的核心学术困境。传统通用语料训练的语言模型往往缺乏对临床指南中结构化知识、专业术语及循证逻辑的深层理解，而Clinical Guidelines通过提供经过清洗和标准化的权威指南文本，为模型注入了精准的医学知识。它推动了证据合成与知识蒸馏的研究，使模型能够从海量指南中提取关键推荐意见，并辅助解决指南间一致性分析、临床路径自动生成等复杂学术问题。其发布显著降低了医学AI研究的语料获取门槛，为构建可解释、可验证的临床决策支持系统奠定了数据基础。

实际应用

在实际应用中，Clinical Guidelines数据集赋能了多种医疗健康场景的智能化转型。基于该数据训练的模型可被部署于临床辅助决策系统，实时为医生提供与当前病例匹配的循证推荐，例如在肿瘤治疗、感染性疾病管理等领域生成个性化的方案建议。此外，它支持自动化的指南摘要与更新监测工具，帮助医疗机构快速整合最新证据。在患者教育方面，模型能够将专业指南转化为通俗易懂的健康建议，提升公众对诊疗方案的理解。这些应用在资源有限的地区尤为重要，通过AI弥合专业知识鸿沟，促进医疗服务的均质化。

数据集最近研究

最新研究方向

临床实践指南数据集在大型语言模型医学预训练中的前沿应用