xusenlin/cmeee

CMeEE是一个中文医学命名实体识别数据集，包含文本和实体信息。实体信息包括实体的ID、实体字符串、起始位置、结束位置和标签。数据集分为训练集、测试集和验证集，分别包含15000、3000和5000个样本。

CMeEE is a Chinese medical named entity recognition dataset that contains text and entity information. The entity information includes the entity ID, entity string, start position, end position and entity label. The dataset is divided into training set, test set and validation set, which contain 15000, 3000 and 5000 samples respectively.

原始信息汇总

数据集概述

数据集名称

CMeEE 中文医学命名实体识别数据集

数据集特征

• text: 字符串类型，表示文本内容。
• entities: 列表类型，包含以下子特征：
  • id: 整数类型，表示实体的唯一标识。
  • entity: 字符串类型，表示实体对应的字符串。
  • start_offset: 整数类型，表示实体开始位置。
  • end_offset: 整数类型，表示实体结束位置的下一位。
  • label: 字符串类型，表示实体对应的开始位置。

数据集分割

• train: 包含15000个示例，总大小为5289666字节。
• test: 包含3000个示例，总大小为461472字节。
• validation: 包含5000个示例，总大小为1752698字节。

数据集大小

• 下载大小: 3359069字节
• 数据集总大小: 7503836字节

搜集汇总

数据集介绍

构建方式

CMeEE数据集聚焦于中文医学领域的命名实体识别任务，其构建依托于大规模中文医学文本的精细标注。数据集中每条样本包含一段医学文本（text字段）以及该文本中标注的实体列表（entities字段）。每个实体通过唯一标识符（id）、实体字符串（entity）、起始偏移量（start_offset）、结束偏移量（end_offset）及类别标签（label）进行定义。数据集划分为训练集（15,000条）、测试集（3,000条）和验证集（5,000条），总计23,000条样本，确保了数据分布的均衡性与任务评估的可靠性。

特点

该数据集的核心特点在于其针对中文医学场景的专一性和结构化标注的精确性。实体标注不仅提供文本中的具体位置信息，还通过偏移量实现了与原始文本的严格对齐，便于模型进行序列标注学习。标签字段覆盖了医学领域中的关键实体类型，如疾病、症状、药物等，为细粒度实体识别提供了坚实基础。此外，数据集规模适中，训练集与验证集的比例设计合理，既支持深度学习模型的充分训练，又保留了足够的测试样本用于性能评估。

使用方法

使用CMeEE数据集时，可直接加载JSON格式的样本，其中text字段作为模型输入，entities字段作为目标输出。在训练命名实体识别模型时，需将实体标注转化为BIO或BILOU标签序列，通过计算每个字符的标签分布进行监督学习。推荐使用预训练语言模型（如BERT、RoBERTa）对文本进行编码，并结合条件随机场（CRF）层优化标签间的依赖关系。评估阶段，可通过计算实体级别的精确率、召回率和F1分数来衡量模型性能，确保与医学领域的高精度要求相匹配。

背景与挑战

背景概述

在自然语言处理与智慧医疗的交叉领域中，中文医学命名实体识别（Chinese Medical Named Entity Recognition, CMeEE）作为一项基础性任务，旨在从非结构化的临床文本中精准抽取出疾病、症状、药物、检查等医学实体。该数据集由研究人员于近年构建，源自中文电子病历与医学文献，共包含15000条训练样本、5000条验证样本及3000条测试样本，覆盖了丰富的实体类型与上下文语境。其核心研究问题在于应对中文医学文本中实体边界模糊、词汇歧义严重以及领域术语高度专业化等挑战，为构建可部署的临床决策支持系统提供了关键的数据基础设施。CMeEE的发布显著推动了中文医学信息抽取领域的发展，成为评估各类序列标注模型性能的基准数据集，并在学术研究与产业应用间架起了桥梁。

当前挑战

CMeEE数据集所面临的挑战首先体现在领域问题的复杂性上：中文医学文本中实体嵌套现象普遍，例如‘慢性支气管炎急性发作’需同时识别疾病与病程修饰关系，而传统序列标注模型难以捕捉此类层级结构；此外，医学实体同义词繁多（如‘高血压’与‘血压升高’），且大量实体依赖上下文语义消歧。在构建过程中，标注一致性是另一重大挑战——医学专家对实体边界的判断存在主观差异，例如‘左肺上叶结节’的起始位置标注可能因人而异，需通过多轮交叉验证与专家协商来降低噪声；同时，数据来源的多样性（如门诊病历与出院小结）导致实体分布不均衡，稀有实体类型（如罕见病名称）的标注样本稀缺，进一步加剧了模型泛化的困难。

常用场景

经典使用场景

CMeEE数据集作为中文医学领域的命名实体识别基准资源，其经典应用场景聚焦于从非结构化的临床文本中精准抽取医学术语。该数据集涵盖疾病、症状、药物、检查、手术等九大类实体类型，为训练和评估序列标注模型提供了高质量标注语料。研究者常利用其进行基于BiLSTM-CRF、BERT等架构的实体边界与类别判别任务，并通过其细粒度的偏移标注实现端到端的实体抽取。

解决学术问题

该数据集有效解决了中文医学文本中实体边界模糊、术语嵌套复杂及领域词汇稀缺等学术难题。通过提供大规模、多源的中文电子病历标注数据，CMeEE为低资源场景下的迁移学习与预训练语言模型微调提供了标准化评估框架。其发布推动了医学信息抽取领域从通用NER向垂直领域精细建模的范式转变，显著提升了模型对专业术语的泛化能力与鲁棒性。

衍生相关工作

基于CMeEE衍生出多项经典工作，包括融合医学本体知识的中文NER模型、基于提示学习的少样本实体识别方法以及跨领域迁移的对抗训练框架。研究者进一步扩展了嵌套实体识别与实体关系联合抽取任务，并催生了如CMeIE（中文医学关系抽取）等配套数据集。这些工作共同构建了中文医学信息抽取的完整技术生态，持续推动临床文本理解与生物医学知识发现的前沿探索。