GuiGel/meddocan

MEDDOCAN数据集是一个个人上传的SPACC_MEDDOCAN语料库，使用了自定义的spaCy管道进行分词。该数据集支持命名实体识别任务，语言为西班牙语。数据集包含10312个训练样本、5268个验证样本和5155个测试样本。

原始信息汇总

数据集概述

数据集名称

• 名称: MEDDOCAN
• 别名: meddocan

数据集属性

• 语言: 西班牙语 (es)
• 多语言性: 单语种
• 许可证: CC-BY-4.0
• 大小: 10K<n<100K
• 来源: 原始数据
• 标签: 临床, 受保护的健康信息, 健康记录
• 任务类别: 词元分类
• 任务ID: 命名实体识别

数据集结构

• 数据字段: 所有分割中的数据字段相同
• 数据分割:

  名称	训练	验证	测试
  meddocan	10312	5268	5155

数据集创建

• 注释创建者: 专家生成
• 语言创建者: 专家生成

使用考虑

• 许可证信息:
  • 本作品根据Creative Commons Attribution 4.0 International License授权。
  • 允许分享和改编，即使是商业用途，但需适当署名并提供许可证链接。

引用信息

@inproceedings{Marimon2019AutomaticDO, title={Automatic De-identification of Medical Texts in Spanish: the MEDDOCAN Track, Corpus, Guidelines, Methods and Evaluation of Results}, author={Montserrat Marimon and Aitor Gonzalez-Agirre and Ander Intxaurrondo and Heidy Rodriguez and Jose Lopez Martin and Marta Villegas and Martin Krallinger}, booktitle={IberLEF@SEPLN}, year={2019} }

贡献者

• 感谢 @GuiGel 添加此数据集。

搜集汇总

数据集介绍

构建方式

在临床自然语言处理领域，医疗文本的去标识化对于保护患者隐私至关重要。MEDDOCAN数据集源自西班牙临床病例语料库SPACCC_MEDDOCAN，由领域专家精心构建而成。该数据集基于原始西班牙语临床文本，通过一套自定义的spaCy流水线进行分词处理，确保了文本切分的准确性与一致性。标注工作由具备医学知识背景的专家完成，遵循严格的命名实体识别标注规范，对涉及受保护健康信息的实体进行精确标记。数据最终被划分为训练集（10,312条）、验证集（5,268条）和测试集（5,155条），为模型训练与评估提供了结构化的基础。

特点

MEDDOCAN数据集的核心特色在于其专为西班牙语临床文本去标识化任务而设计，聚焦于命名实体识别中的受保护健康信息检测。数据集为单语种（西班牙语）资源，规模适中，包含约两万条标注实例，覆盖了临床记录中常见的敏感实体类型。其标注质量由专家生成保证，并遵循知识共享署名4.0国际许可协议，便于研究社区合法使用与再分发。此外，该数据集起源于公开的学术评测任务，附有详尽的评测指南与方法论文献，为研究者提供了可靠的基准参考。

使用方法

使用MEDDOCAN数据集时，研究者可将其直接加载至基于Transformer的序列标注模型中，如BERT或RoBERTa的西班牙语变体。数据字段在各数据划分中保持一致，支持直接用于训练、验证与测试流程。典型的应用场景包括训练一个能够自动识别并标注临床文本中患者姓名、身份证号、日期等敏感实体的模型。用户可通过Hugging Face Datasets库便捷地获取数据，并参考配套的论文与官方仓库中的基线方法进行实验复现与性能对比。

背景与挑战

背景概述

MEDDOCAN数据集由西班牙巴塞罗那超级计算中心（BSC）的研究团队于2019年创建，旨在推动西班牙语临床文本的去标识化研究。该数据集源自西班牙临床病例语料库（SPACCC），聚焦于保护健康信息（PHI）的识别与匿名化任务，核心研究问题在于如何从非结构化的电子健康记录中准确检测并移除患者隐私信息。作为IberLEF评测任务的一部分，MEDDOCAN为命名实体识别（NER）领域提供了首个针对西班牙语临床场景的标准化基准，其发布显著促进了低资源语言在医疗隐私保护技术上的发展。数据集包含超过2万条标注样本，由临床专家手工标注，覆盖姓名、日期、地理位置等敏感实体类型，为后续研究奠定了高质量的数据基础。

当前挑战

MEDDOCAN面临的核心挑战在于临床文本去标识化的复杂性：首先，医疗记录中隐私实体的边界模糊且高度依赖上下文，例如日期格式的多样性（‘15/03/2020’与‘marzo de 2020’）与缩写变体（‘Dr. Pérez’与‘Pérez, Juan’）增加了识别难度；其次，西班牙语中形态丰富的词缀（如姓氏的性数变化）以及临床术语的专有性要求模型具备深层语义理解能力。在数据集构建过程中，挑战尤为显著：原始病历涉及真实患者数据，需在标注前进行严格匿名化处理以符合伦理规范；同时，专家标注员需对15类细粒度PHI标签达成一致，而长文本中嵌套实体（如‘Hospital Universitario de La Paz’）的边界判定极易引发歧义，导致标注一致性维护成本高昂。

常用场景

经典使用场景

在自然语言处理与医学信息学交叉领域，MEDDOCAN数据集被广泛用于西班牙语临床文本的命名实体识别任务。其核心应用场景聚焦于识别并标注电子健康记录中的受保护健康信息，如患者姓名、身份证号、日期及地理位置等敏感实体。研究者利用该数据集训练序列标注模型，以自动检测和分类临床文档中的隐私相关实体，推动医疗数据去标识化技术的发展。该语料库由专家精心标注，涵盖超过两万个实体实例，为西班牙语临床NER提供了高质量基准，尤其适用于低资源语言场景下的迁移学习与模型评估。

衍生相关工作

MEDDOCAN数据集催生了多项具有影响力的学术工作。其一，基于该语料库的MEDDOCAN评测任务（IberLEF 2019）吸引了多个团队参与，催生了如基于BERT的西班牙语临床实体识别模型（如bsc-bio-ehr-es）及条件随机场与深度学习融合的混合架构。其二，研究者将其与英语的i2b2数据集对比，提出跨语言去标识化的域适应方法。其三，该数据集被用于训练西班牙语临床预训练语言模型（如Clinical BETO），推动了医学领域词嵌入的本地化发展。这些工作共同促进了非英语临床NLP社区的繁荣。

数据集最近研究

最新研究方向

在临床自然语言处理领域，保护患者隐私的数据脱敏技术正成为研究焦点。MEDDOCAN数据集作为西班牙语临床文本匿名化的标杆资源，聚焦于受保护健康信息的命名实体识别任务，其研究前沿紧密围绕如何利用深度学习模型精准识别并移除病历中的敏感标识符。当前热点事件包括欧盟通用数据保护条例的严格实施，促使研究者探索跨语言、低资源的医疗数据脱敏方案。该数据集的意义在于为西班牙语医疗文本提供高质量、专家标注的基准，推动了非英语环境下临床信息隐私保护技术的进步，并促进了可共享医学研究数据的伦理合规发展。