Bio_ClinicalBERT

Publicly Available Clinical BERT Embeddings from https://huggingface.co/

可公开获取的临床BERT（Clinical BERT）嵌入，来源为https://huggingface.co/

搜集汇总

背景与挑战

背景概述

Bio_ClinicalBERT是一个专为临床文本设计的预训练语言模型，基于BioBERT初始化并在MIMIC III电子健康记录数据库（包含约8.8亿单词的ICU患者笔记）上训练。该模型采用BERT架构，通过特定超参数（如批量大小32、序列长度128）优化，适用于临床自然语言处理任务，如命名实体识别和自然语言推理，可直接通过Hugging Face库加载使用。