TypicaAI/MedicalNER_Fr

MedicalNER_Fr数据集专门用于训练法语医疗和健康领域的命名实体识别（NER）模型。该数据集源自Multilingual Complex Named Entity Recognition (MultiCoNER)数据集，并经过过滤以仅包含与医疗领域相关的法语条目。非医疗标签被聚合为更广泛的类别。数据集包含样本ID、词汇、NER标签、文本和NER标签跨度等字段。数据集的创建目的是教育用途，建议在使用前对不平衡的数据集进行平衡处理。

The MedicalNER_Fr dataset is specifically designed for training named entity recognition (NER) models in the French medical and healthcare domains. Derived from the Multilingual Complex Named Entity Recognition (MultiCoNER) dataset, it has been filtered to exclusively retain French entries relevant to the medical field, with non-medical labels aggregated into broader categories. The dataset includes fields such as sample ID, vocabulary, NER tags, raw text, and NER tag spans. It is intended for educational purposes, and it is recommended to balance the imbalanced dataset prior to use.

原始信息汇总

数据集概述

数据集描述

名称: MedicalNER_Fr
语言: 法语
许可: Creative Commons license family
多语言性: 单语种
大小类别: 10K<n<100K
任务类别:

• 词性标注
• 命名实体识别

标签:

• 医学
• 命名实体识别

数据集结构

特征

1. sample_id: 每个样本的UUID。
2. tokens: 句子中的词列表。
3. ner_tags: 与每个词对应的命名实体识别标签列表。
4. text: 由词组合而成的文本。
5. ner_tags_span: 命名实体识别标签的跨度列表，每个跨度包含：
   • 命名实体标签（实体类型）。
   • 实体在文本中的起始位置。
   • 实体在文本中的结束位置。

数据分割

• 训练集:
  • 样本数: 16176
  • 字节数: 7080146

标签统计

• AnatomicalStructure: 4685
• Disease: 4658
• Medication/Vaccine: 4226
• MedicalProcedure: 3170
• Symptom: 1763
• LOC: 525
• PER: 521
• PROD: 305
• CW: 167
• ORG: 83
• GRP: 14

数据集示例

json { "sample_id": "60a82e36-4d34-4e16-aadc-2078699476f7", "tokens": ["jonas", "salk", "médecin", "m.d.", "1938", "et", "inventeur", "du", "vaccin", "contre", "la", "poliomyélite", "."], "ner_tags": ["B-PER", "I-PER", "O", "O", "O", "O", "O", "O", "O", "O", "O", "B-Disease", "O"], "text": "jonas salk médecin m.d. 1938 et inventeur du vaccin contre la poliomyélite .", "ner_tags_span": "[[PER, 0, 10], [Disease, 62, 74]]" }

搜集汇总

数据集介绍

构建方式

在自然语言处理与医学信息学交叉领域，命名实体识别（NER）是提取临床知识的关键技术。MedicalNER_Fr数据集源自多语言复杂命名实体识别（MultiCoNER V2）语料库，经由精细的过滤与重构流程构建而成。该过程首先从MultiCoNER V2中筛选出所有法语条目，继而仅保留与医学领域相关的样本，并将非医学标签聚合为粗粒度类别，最终形成专用于法语医学NER的数据集。数据集包含约16,176个训练样本，涵盖解剖结构、疾病、药物/疫苗、医疗程序、症状等11种实体类型，以JSON格式存储，提供token级及span级标注。

特点

该数据集的核心特点在于其聚焦法语医学领域的专一性与层次化标注体系。每条样本均配备唯一标识符、分词列表、token级NER标签、完整文本及span级标签，其中span标注精确记录实体在文本中的起止位置，便于模型学习边界信息。实体分布呈现典型的长尾特征，解剖结构、疾病与药物/疫苗类别占据主导，而组织、团体等类别样本稀少，反映了真实医学文本的实体分布规律。数据集的类别不平衡特性既是挑战也是特色，可模拟实际临床场景中实体频次不均的现象。

使用方法

使用该数据集时，推荐采用Hugging Face Datasets库进行加载，其内置的train分割可直接用于模型训练。鉴于数据集的类别不均衡特性，建议在训练前实施重采样或加权损失函数等平衡策略，以提升模型对稀有实体的识别能力。典型应用流程包括：加载数据集、解析token与ner_tags字段、构建序列标注模型（如BERT-CRF）、利用ner_tags_span进行边界评估。该数据集适用于微调法语预训练语言模型，如CamemBERT或FlauBERT，用于临床文本中的实体抽取任务，如识别疾病名称、药物术语及解剖部位。

背景与挑战

背景概述

在自然语言处理领域，命名实体识别（NER）是信息抽取的关键技术之一，尤其在医疗健康领域，精准识别疾病、药物、解剖结构等实体对于临床决策支持和医学知识图谱构建具有重要价值。然而，针对法语这一低资源语言的医疗NER数据集长期匮乏，制约了相关研究的发展。2024年，由Typica.ai的Hicham Assoudi博士主导创建的MedicalNER_Fr数据集应运而生，该数据集源自多语言复杂命名实体识别（MultiCoNER V2）语料库，经过严格筛选与标签聚合，最终包含超过1.6万个法语医疗领域样本，涵盖解剖结构、疾病、药物/疫苗、医疗程序等11种实体类型。作为首个面向法语医疗场景的公开NER数据集，其发布填补了该领域的数据空白，为跨语言医疗信息处理提供了重要基准资源。

当前挑战

当前MedicalNER_Fr数据集面临多重挑战。在领域问题层面，医疗文本中实体边界模糊、一词多义现象普遍（如‘vaccin’既可指疫苗产品也可指接种程序），且罕见疾病和药物实体占比极低，导致模型泛化能力不足。标签分布严重不均衡，如‘解剖结构’和‘疾病’类各占约4600条，而‘组织’类仅14条，这种长尾分布易使模型偏向高频类别。在构建过程中，原始MultiCoNER V2数据经过法语筛选与医学领域过滤后，非医疗标签被粗粒度聚合，可能丢失细粒度语义信息；同时数据集标注质量依赖原始语料，未进行人工复核，存在标签噪声风险。此外，数据集仅包含训练集，缺乏验证和测试划分，限制了模型评估的可靠性与可比性。

常用场景

经典使用场景

在自然语言处理与医学信息学的交叉领域中，MedicalNER_Fr数据集被广泛用于训练和评估面向法语医学文本的命名实体识别（NER）模型。该数据集从多语言复杂命名实体识别（MultiCoNER V2）语料中精心筛选，聚焦于法语语境下的医学实体，涵盖解剖结构、疾病、药物/疫苗、医疗程序、症状等关键类别。研究者常将其作为基准，用以微调预训练语言模型（如CamemBERT、FlauBERT），从而精准识别临床记录、医学文献或电子健康档案中的实体边界与类型。其标注格式支持逐词标签与跨度表示，便于开展序列标注任务的标准化实验。

实际应用

在实际医疗场景中，MedicalNER_Fr赋能了多项法语国家的智能健康应用。例如，医院信息系统可借助基于该数据集训练的NER工具，自动从非结构化的出院小结或会诊记录中抽取出诊断、用药方案与手术名称，从而辅助构建结构化的电子病历数据库。制药企业则能利用其识别药物不良反应报告中的关键实体，加速药物警戒信号的挖掘。此外，在医疗问答系统中，该数据集训练的模型可精准定位用户问题中的症状与疾病实体，为后续的知识图谱检索或诊断推理提供可靠输入。法国公共卫生机构亦可能将其用于监控区域性流行病暴发时社交媒体或新闻文本中的症状提及模式。

衍生相关工作

MedicalNER_Fr的发布催生了一系列衍生研究。一方面，研究者基于其标注体系开发了面向法语医学领域的实体链接工具，将识别出的实体映射到统一医学语言系统（UMLS）或ICD-10编码，实现了从文本到标准化术语的自动转换。另一方面，该数据集常与弱监督学习框架结合，通过远程监督或数据增强技术生成更大规模的伪标注语料，缓解了原始数据量有限的瓶颈。此外，部分工作探索了将其与法语医学关系抽取任务联合训练，构建端到端的临床信息抽取流水线。在模型层面，针对其类别不平衡特性，学者提出了基于对比学习的表示优化策略与焦点损失函数的改进方案，显著提升了稀有实体（如药物名称）的识别性能。