ErikCalcina/synthetic-multi-med-notes-ner-dataset-v1

--- pretty_name: Multilingual Synthetic Medical Notes for NER language: - en - it - es - fr - de - nl - el - pt - sl license: mit task_categories: - token-classification - text-classification size_categories: - 1K<n<10K --- # Multilingual Synthetic Medical Notes for NER This dataset provides multilingual synthetic clinical notes for information extraction and NER workflows. ## Dataset file - `train.jsonl` (JSON Lines): one example per line ## Schema Each line in `train.jsonl` contains: - `text`: synthetic medical note text - `language`: language of the note - `entities`: character-level entity annotations (`text`, `label`, `start`, `end`) - `gliner_tokenized_text`: tokenized note text for GLiNER-style training - `gliner_entities`: token-level entity annotations aligned to `gliner_tokenized_text` ## Label scope Entity labels cover common clinical concepts, including: - conditions and comorbidities - symptoms and observations - tests, measurements, and scores - procedures, treatments, and rehabilitation - drugs and drug doses - events, dates, visits, devices, and specimens ## Example ```json { "text": "Patient note ...", "language": "spanish", "entities": [{"text": "dolor", "label": "Symptom", "start": 10, "end": 15}], "gliner_tokenized_text": ["Patient", "note", "..."], "gliner_entities": [[5, 5, "Symptom"]] } ``` ## How synthetic data was created - Prompt-driven generation was used to create realistic EHR-style notes across multiple languages and regions. - Generation parameters varied across note type, specialty, patient profile, and note length to increase diversity. - Clinical labels were embedded in the prompting process so each sample includes structured entity annotations. - Post-generation validation kept only examples with valid JSON structure and valid entity spans that appear in the note text. - Tokenized GLiNER fields were produced for token-level training/evaluation workflows. ## Intended use - Training and evaluating NER / IE systems on multilingual clinical-style text - Prototyping multilingual medical NLP pipelines ## Limitations - Data is synthetic and may not reflect full real-world clinical variability - Annotation quality depends on synthetic generation and preprocessing steps ## Citation If you use this dataset, cite this repository/workspace.--- pretty_name: 用于命名实体识别的多语言合成医疗笔记（Multilingual Synthetic Medical Notes for NER） language: - 英语（en） - 意大利语（it） - 西班牙语（es） - 法语（fr） - 德语（de） - 荷兰语（nl） - 希腊语（el） - 葡萄牙语（pt） - 斯洛文尼亚语（sl） license: MIT许可证（mit） task_categories: - 令牌分类（token-classification） - 文本分类（text-classification） size_categories: - 1K<n<10K（样本量1000至10000） --- # 用于命名实体识别的多语言合成医疗笔记（Multilingual Synthetic Medical Notes for NER） 本数据集提供多语言合成临床笔记，可用于信息抽取与命名实体识别（NER）工作流。 ## 数据集文件 - `train.jsonl`（JSON Lines格式）：每行对应一个样本 ## 数据结构 `train.jsonl`中的每行包含以下字段： - `text`：合成医疗笔记文本 - `language`：笔记所用语言 - `entities`：字符级实体标注（包含`text`、`label`、`start`、`end`字段） - `gliner_tokenized_text`：适配GLiNER风格训练的分词后笔记文本 - `gliner_entities`：与`gliner_tokenized_text`对齐的令牌级实体标注 ## 标注范畴 实体标签涵盖常见临床概念，包括： - 病症与合并症 - 症状与临床观察结果 - 检验项目、测量指标与评分 - 操作、治疗与康复手段 - 药物与药物剂量 - 事件、日期、就诊记录、医疗器械与标本 ## 示例 json { "text": "Patient note ...", "language": "西班牙语", "entities": [{"text": "dolor", "label": "症状（Symptom）", "start": 10, "end": 15}], "gliner_tokenized_text": ["Patient", "note", "..."], "gliner_entities": [[5, 5, "症状（Symptom）"]] } ## 合成数据生成流程 - 采用提示驱动生成方法，跨多语言与地区生成符合电子健康记录（Electronic Health Record, EHR）风格的真实感临床笔记 - 调整生成参数以覆盖不同笔记类型、专科、患者画像与笔记长度，提升数据多样性 - 在提示流程中嵌入临床标签，确保每个样本均包含结构化实体标注 - 生成后验证环节仅保留符合有效JSON结构、实体跨度与原文文本匹配的样本 - 生成适配令牌级训练/评估工作流的GLiNER格式分词字段 ## 预期用途 - 针对多语言临床风格文本，训练与评估命名实体识别（NER）/信息抽取（IE）系统 - 原型开发多语言医疗自然语言处理（NLP）流水线 ## 局限性 - 本数据为合成数据，无法完全反映真实临床场景的多样性 - 标注质量依赖于合成生成与预处理流程 ## 引用说明 若使用本数据集，请引用本仓库/工作区。