BioClinical ModernBERT
收藏资源简介：
BioClinical ModernBERT是一个基于最新ModernBERT发布的领域自适应编码器，专为生物医学和临床自然语言处理（NLP）设计。该数据集通过在迄今为止最大的生物医学和临床语料库上持续预训练而成，包含超过53.5亿个tokens，并利用了来自不同机构、领域和地理区域的20个数据集，而非依赖单一来源的数据。这些数据集包括PubMed摘要、PMC全文文章、MIMIC-IV临床笔记以及其他多种来源的临床文本，共计2.8B tokens。该数据集旨在解决现有临床编码器在去识别任务上的性能问题，并提高在生物医学和临床NLP任务中的表现。
BioClinical ModernBERT is a domain-adaptive encoder based on the newly released ModernBERT, tailored specifically for biomedical and clinical natural language processing (NLP). This dataset is constructed via continued pre-training on the largest biomedical and clinical corpus to date, which contains over 5.35 billion tokens. It leverages 20 datasets from diverse institutions, domains and geographic regions, rather than relying on single-source data. These datasets include PubMed abstracts, PMC full-text articles, MIMIC-IV clinical notes, and clinical texts from various other sources, totaling 2.8 billion tokens. This dataset aims to address the performance issues of existing clinical encoders in de-identification tasks, and improve performance across biomedical and clinical NLP tasks.
BioClinical ModernBERT 数据集概述
数据集基本信息
- 名称: BioClinical ModernBERT
- 类型: 生物医学和临床自然语言处理（NLP）数据集
- 相关论文: BioClinical ModernBERT: A State-of-the-Art Long-Context Encoder for Biomedical and Clinical NLP
数据集内容
- 预训练配置文件:
phase1: 包含基础和大型配置文件，用于生物医学和临床数据的通用阶段训练。phase2: 包含基础和大型配置文件，仅用于临床数据的专业化阶段训练。还包括Bio ModernBERT的配置文件。
- 性能评估数据集:
- Phenotype: Physionet链接
- ChemProt: BLUE Benchmark github发布
- DEID: Physionet链接
- COS: Washington BioNLP链接
- SocialHistory: Washington BioNLP链接
使用说明
- 环境设置:
- 使用
environment.yaml文件创建conda环境。 - 安装Flash Attention以充分利用ModernBERT架构的效率优势。
- 使用
- 性能评估:
- 使用
main.py脚本进行下游任务的微调和评估。 - 支持的数据集包括Phenotype、ChemProt、DEID、COS和SocialHistory。
- 使用
- 推理速度评估:
- 使用
multiprocess_bench.py脚本测量模型的推理速度。
- 使用
引用信息
bibtex @misc{sounack2025bioclinicalmodernbertstateoftheartlongcontext, title={BioClinical ModernBERT: A State-of-the-Art Long-Context Encoder for Biomedical and Clinical NLP}, author={Thomas Sounack and Joshua Davis and Brigitte Durieux and Antoine Chaffin and Tom J. Pollard and Eric Lehman and Alistair E. W. Johnson and Matthew McDermott and Tristan Naumann and Charlotta Lindvall}, year={2025}, eprint={2506.10896}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2506.10896}, }
注意事项
- Flash Attention是必须的，以充分利用ModernBERT架构的效率优势。
- 数据集需要手动下载并添加到
data/raw文件夹。
