Algerian Darija Medical Triage Dataset

一个包含859条阿尔及利亚达里贾语患者症状描述的小型专家标注数据集，每条数据标注了病例的紧急程度和所属医疗服务类别。据我们所知，这是首个针对阿尔及利亚达里贾语的医疗分诊数据集。A small expert-annotated dataset containing 859 patient symptom descriptions in Algerian Darija. Each entry is annotated with the emergency severity of the case and the corresponding medical service category. To the best of our knowledge, this is the first medical triage dataset targeting Algerian Darija.

原始信息汇总

Algerian Darija Medical Triage Dataset 数据集详情

数据集概述

这是一个由医学专家标注的小型数据集，包含 859 条以阿尔及利亚达里加语撰写的患者症状描述，每条描述都标注了紧急程度和所属的医疗服务类别。该数据集是为 Najda 医疗分诊系统构建的，据作者所知，它是首个针对阿尔及利亚达里加语的医疗分诊数据集。

数据内容与结构

字段说明

列名	描述	取值
text	患者的症状描述（阿尔及利亚达里加语）	自由文本
urgency	患者需要接受治疗的时间紧急程度	Urgent（紧急）、Consultation（可预约）
service	适合该症状的医学专科	Cardiology、Neurology、Emergency Medicine、Internal Medicine、Gynecology

紧急程度定义

• Urgent（紧急）：需要在当天接受治疗
• Consultation（可预约）：可以正常安排就诊时间

数据规模与分布

• 总样本数：859 条无空行、无重复的句子
• 中位长度：11 个单词 / 51 个字符（短文本，真实患者投诉）
• 紧急程度分布：445 条 Urgent / 414 条 Consultation（近乎平衡）
• 各科室的紧急程度分布：
  • Emergency Medicine（急诊医学）：100% 为 Urgent
  • Internal Medicine（内科）：约 75% 为 Consultation
  • **Cardiology（心脏病学）**与 Gynecology（妇科）：约 60/40 比例
  • Neurology（神经学）：几乎 50/50 均衡

数据来源

数据来自两个主要来源：

1. Facebook 公共健康群组：阿尔及利亚患者用自己的语言描述症状，包含口语、语码转换，有时使用 Arabizi（拉丁字母加数字替代)
2. 作者身边的真实病例：这些病例有可追溯的治疗结果，因此紧急程度标签可靠

另有一小部分合成句子仅用于填补覆盖空白，风格与真实数据保持一致。

所有句子均由医生和医学专家标注，并过滤掉不能明确归入五个专科之一的样本，最终得到 859 条数据。

数据特点与挑战

阿尔及利亚达里加语医疗文本的关键特征：

• 无固定拼写：同一单词有多种写法，数据集保留所有拼写变体
• 语码转换：达里加语混合法语和现代标准阿拉伯语医学术语，这些词汇被保留
• Arabizi 书写：使用拉丁字母加数字替代阿拉伯语音素（例如 3、7、9 代表特定阿拉伯语发音，如 "3yani sda3 chdid w 7ass bel 9alb yedreb bezzaf"）
• 真实歧义：某些症状可能因上下文不同而表现为紧急或常规
• 噪音作为信号：表情符号和拉长词（如 "veeery"）被保留，因为它们常与紧急程度相关

预处理方式

预处理保持轻量化，尽可能接近患者真实书写方式：

• 标准化空白字符
• 移除变音符号
• 统一字母变体
• 缩短拉长/拉伸的字母
• 清除个人身份信息（PII）
• 保留表情符号、标点符号和法语词汇
• 将拉丁字母书写的 Arabizi 样本通过固定映射转换为阿拉伯语脚本，使整个数据集使用统一的书写体系

数据示例

text	urgency	service
راني نلهث غير نمشي شوية، و الفشلة راهي دايرة فيا حالة	Urgent	Cardiology
البارح مقدرتش كامل نرقد ووراسي قعد يوجع و نحس بالدوخة	Consultation	Neurology
شربت الدوا لي كتبهولي و دارلي لاليغجي ، لحمي قاع تحرق,	Urgent	Emergency Medicine

数据集加载方式

python import pandas as pd

df = pd.read_csv("dataset.csv") print(df.shape) # (859, 3) print(df["urgency"].value_counts()) print(df["service"].value_counts())

预期用途与限制

• 用途：用于低资源语言（阿尔及利亚达里加语）的医疗自然语言处理研究，包括紧急程度分类、专科路由和基于检索的方法
• 规模：中等规模（859 条句子），部分为合成数据
• 来源：来自单一语料库，结果可能不直接适用于其他地区或医院
• 医学警告：非医疗设备，不得用于真实患者的临床决策

许可协议

该数据集采用 Creative Commons Attribution 4.0 International License (CC BY 4.0) 许可。允许共享和改编数据用于任何目的（包括商业用途），但需提供适当的署名、指向许可协议的链接，并注明是否进行了修改。

许可协议覆盖数据集的标注信息（紧急程度和专科标签）、数据集编译及其结构。一部分基础症状文本来自公共来源，许可协议不对可能仍受原作者权利保护的第三方内容主张所有权。个人身份信息已被移除，数据集仅供研究使用。

搜集汇总

数据集介绍

构建方式

Algerian Darija Medical Triage Dataset 是一个面向阿尔及利亚方言（Darija）的医疗分诊数据集，包含859条由医学专家标注的患者症状描述。数据主要来源于两个渠道：一是阿尔及利亚患者公开发布在Facebook健康群的症状描述，保留了口语化、代码切换和阿拉伯语拉丁化（Arabizi）等真实语言特征；二是由作者收集的真实病例，基于已知的诊疗结果赋予可靠的分诊标签。此外，为填补某些医疗服务的覆盖空缺，少量合成句子以相同风格被加入。每条数据由医生和医学专家标注，确保症状仅归入其明确对应的五个专科之一，过滤后最终保留859条干净记录。

特点

该数据集的核心特点在于忠实还原了阿尔及利亚方言医疗写作的复杂性与多样性。文本中无固定拼写规范，同一词汇存在多种书写形式；法语与现代标准阿拉伯语术语频繁混用，构成深刻的代码切换现象；部分样本采用阿拉伯语拉丁化写法，以数字替代特定音素。这些特征均被完整保留作为语言信号。紧急程度分为Urgent（当日就诊）和Consultation（常规预约）二值，五个专科分布相对均衡，其中急诊医学100%为紧急，神经科则近乎对半分，反映了方言中症状表述的固有歧义性。噪声如表情符号和字母拉长也被保留，因其常与紧急程度呈相关性。

使用方法

数据集以CSV格式提供，包含text、urgency和service三列，可通过pandas直接加载为DataFrame进行使用。预处理保持极简，仅做空白规范化、去除变音符号、统一字母变体、压缩拉长字母及清除个人身份信息，同时保留标点、表情符号和法语词汇。阿拉伯语拉丁化样本通过固定映射转换为阿拉伯字母，使全数据集统一为单一书写体系。该数据集专为低资源阿尔及利亚方言医疗自然语言处理研究设计，适用于紧急程度分类、专科路由或基于检索的方法探索。需注意其规模有限且部分内容为合成，不可用于真实临床决策。

背景与挑战

背景概述

阿尔及利亚达里加语医疗分诊数据集是首个针对阿尔及利亚达里加语构建的医疗分诊资源，由阿尔及利亚布米尔达斯大学的Amel Boustil、Akram Mahboub和Nasreddine Bramki等人于2025年创建。该数据集包含859条由医学专家标注的患者症状描述，每条文本均标注了紧急程度（紧急或咨询）和对应专科（心内科、神经科、急诊科、内科、妇科），旨在支撑名为Najda的医疗分诊系统，以处理达里加语患者主诉并自动判断就诊紧急性和科室归属。作为低资源语言医学自然语言处理领域的开创性工作，该数据集填补了阿尔及利亚方言在临床决策支持中的空白，为方言医学文本的理解与分类研究提供了珍贵基准。

当前挑战

该数据集面临的核心挑战在于达里加语本身的非规范性：拼写高度不统一，同一词汇有多种书写形式；文本中频繁夹杂法语和现代标准阿拉伯语医学术语，甚至出现使用拉丁字母与数字替代阿拉伯字母的Arabizi书写形式（如用3、7、9表示特定音位）。此外，部分症状描述在紧急与非紧急之间具有天然歧义性，而数据集仅含859条样本且部分为合成数据，规模有限。构建过程中，研究者需从社交媒体真实对话中搜集非正式表达，并邀请专业医师进行判别和清洗，以过滤不属于五类专科的条目，同时保留情绪符号、单词拉长等噪声特征——这些噪声恰恰与紧急程度高度相关。

常用场景

经典使用场景

在低资源语言医学自然语言处理领域，该数据集为阿尔及利亚达里贾语的医疗分诊场景提供了首个标准化的基准资源。研究者常将其用于构建多分类模型，以同时预测患者症状描述的紧急程度（紧急或常规咨询）与所属专科（心内科、神经内科、急诊科、内科、妇科）。该数据集收录了859条由医学专家标注的真实患者主诉，保留了达里贾语中特有的拼写变体、法语与阿拉伯语混合编码、以及阿拉伯语拉丁化转写（Arabizi）等复杂语言现象，为开发具有鲁棒性的文本分类器奠定了数据基础。

实际应用

在实际医疗场景中，该数据集支撑的Najda系统可部署于阿尔及利亚及马格里布地区的初级诊疗机构、在线健康咨询平台或医院预检分诊台。当患者用达里贾语描述胸痛、头晕等非特定症状时，模型能在数秒内输出紧急程度评估与建议就诊科室，有效缓解繁忙时段急诊室的分流压力。尤其适用于医疗资源匮乏的农村地区，辅助非专科医护人员作出初步决策。虽然数据集规模尚不足以直接用于临床诊断，但其作为预分诊辅助工具已在初步实验中展现出减少患者等待时间、优化专科资源配置的潜力，同时为其他低资源语言的医疗NLP应用提供了可复制的技术范式。

衍生相关工作

围绕着该数据集，研究者已衍生出多项具有启发性的后续工作。最核心的成果是Najda系统本身——一种结合检索增强生成与轻量级分类器的混合架构，通过将患者症状与预标注参考案例进行语义匹配来提升分诊准确率。此外，该数据集促进了针对达里贾语阿拉伯化转写（Arabizi）到阿拉伯文标准化映射规则的优化研究，催生了专门用于医学文本的拼写归一化工具。部分团队在此基础上探索了跨语言迁移学习，利用该数据集作为源域，微调多语言BERT模型以预测摩洛哥或突尼斯方言的医疗紧急程度。未来方向还包括将标签体系扩展至更多专科，并引入多模态信息（如血压波形）以增强分诊的上下文感知能力。