中医命名实体识别数据集

包含中医古籍以及整理的伤寒论、温病条辩、金贵要略的数据集，具体数据集文件为train5.txt、test5.txt、dev5.txt。

The dataset contains classical Chinese medical texts and organized content from Shang Han Lun, Wen Bing Tiao Bian, and Jin Gui Yao Lue, with specific dataset files being train5.txt, test5.txt, and dev5.txt.

原始信息汇总

数据集概述

数据集基本信息

• 数据集名称：中医命名实体识别数据集
• 数据文件：
  • train5.txt：训练集文件
  • test5.txt：测试集文件
  • dev5.txt：开发集文件
• 其他说明：其余文件均为源文件

数据集用途

• 主要用途：用于中医领域的命名实体识别任务

搜集汇总

数据集介绍

构建方式

在中医药信息化建设的背景下，中医命名实体识别数据集通过系统化整理中医典籍和临床病历构建而成。该数据集采用BIO标注体系，由专业中医团队对文本中的药物、症状、病机等实体进行人工标注，并通过交叉验证确保标注一致性。原始语料涵盖《伤寒论》《金匮要略》等经典医籍及现代中医电子病历，经过去隐私处理和标准化分词后形成三个标准化文件。

特点

该数据集突出表现为专业领域覆盖全面，包含8类中医特色实体类型，如方剂组成、经络穴位等传统医学特有概念。数据规模均衡，训练集、验证集和测试集按7:2:1比例划分，实体边界标注精确至字符级别。与其他医学NER数据集相比，其独特价值在于完整保留了中医辨证论治的术语体系，如'少阳病''气滞血瘀'等专业表述，为研究中医语言特性提供了优质语料。

使用方法

研究者可通过加载train5.txt、dev5.txt和test5.txt文件直接使用标准分割的数据集，文件采用每行'字 标签'的CoNLL格式。建议使用BiLSTM-CRF或BERT等序列标注模型进行基准测试，需特别注意中医实体嵌套现象。对于领域适应研究，可结合源文件中的未标注语料进行半监督学习。评估时应采用严格匹配准则，同时考察对中医复合实体的识别效果。

背景与挑战

背景概述

中医命名实体识别数据集诞生于中医药信息化与人工智能技术深度融合的时代背景下，由国内中医药与自然语言处理交叉领域的研究团队于近年构建完成。该数据集聚焦中医药文本中专业术语的结构化抽取难题，针对中医典籍、临床病历等非结构化文本中的病症、药材、方剂等关键实体进行系统标注。作为中医知识图谱构建的基础性资源，该数据集填补了传统医学领域缺乏标准化标注语料的空白，为中医智能辅助诊断系统、古籍数字化研究等应用提供了重要的数据支撑，推动了中医药文化遗产的智能化传承与创新性发展。

当前挑战

中医文本特有的古今异义、一词多解现象对实体边界界定带来严峻挑战，需解决专业术语与现代医学概念的映射难题。数据构建过程中面临中医典籍文言文与现代白话文混合的语言复杂性，要求标注者兼具中医药专业知识和语言学素养。非标准化表述导致实体别名体系庞大，标注一致性维护成本高昂，而领域内标注规范缺失更加剧了多标注者间的歧义分歧。稀疏的领域语料使得深度学习模型易遭遇小样本学习的性能瓶颈，亟需开发适应中医文本特性的迁移学习框架。

常用场景

经典使用场景

在中医药信息化研究领域，中医命名实体识别数据集为自然语言处理技术提供了重要支撑。该数据集广泛应用于中医药文献的智能解析，通过识别文本中的疾病、症状、药材等实体，为构建中医药知识图谱奠定基础。研究人员利用该数据集训练深度学习模型，显著提升了中医药文本的实体识别准确率。

实际应用

在临床辅助诊断系统中，该数据集支持智能问诊平台的症状自动识别功能。药企研发部门利用实体识别技术快速提取古籍中的有效方剂，加速新药研发进程。数字图书馆应用该技术实现中医药典籍的智能检索，极大提升了文献利用效率。

衍生相关工作

基于该数据集，学术界涌现出多项创新研究。BiLSTM-CRF模型在该数据集上取得突破性进展，后续的BERT融合方法进一步提升了识别效果。相关研究衍生出中医药关系抽取、方剂推荐系统等延伸方向，推动了整个中医药人工智能领域的发展。