darija-english-combined

English–Darija–Arabizi平行数据集是一个整合并标准化了多个公开英语-摩洛哥达里贾语数据集的统一资源，专为训练翻译和方言模型而设计。该数据集通过系统化流程合并了四个来源数据集，确保数据质量和一致性。数据内容包含英语句子及其对应的达里贾语翻译，达里贾语以两种文字形式提供：阿拉伯文（darija）和拉丁文（arabizi）。数据集经过严格过滤，仅保留包含英语且至少有一种达里贾语形式的样本，并自动标注脚本类型（仅阿拉伯文、仅拉丁文、两者皆有）。通过基于源优先级的去重处理，消除了重复条目。最终数据集包含1,044,523个训练样本，每个样本包含五个字段：英语原文、阿拉伯文达里贾语（可能为空）、拉丁文Arabizi达里贾语（可能为空）、数据来源标识以及脚本类型分类。该数据集适用于机器翻译、音译、方言建模等自然语言处理任务，特别关注摩洛哥达里贾语的多文字表示问题。

The English–Darija–Arabizi parallel dataset is a unified resource that integrates and standardizes multiple publicly available English-Moroccan Darija datasets, designed for training translation and dialect models. It merges four source datasets through a systematic process to ensure data quality and consistency. The data includes English sentences and their corresponding Darija translations, with Darija provided in two script forms: Arabic (darija) and Latin (arabizi). The dataset is rigorously filtered to retain only samples containing English and at least one form of Darija, and automatically annotates script types (Arabic-only, Latin-only, or both). Duplicate entries are eliminated through deduplication based on source priority. The final dataset contains 1,044,523 training samples, each consisting of five fields: English source text, Arabic Darija (possibly empty), Latin Arabizi Darija (possibly empty), source identifier, and script type classification. It is suitable for natural language processing tasks such as machine translation, transliteration, and dialect modeling, with a particular focus on the multi-script representation of Moroccan Darija.

原始信息汇总

数据集概述：English–Darija–Arabizi Parallel Dataset

• 数据集地址：https://huggingface.co/datasets/atlasia/darija-english-combined
• 任务类别：翻译（translation）
• 标签：音译、翻译、达里贾语、达里贾语-英语

---

数据规模

• 数据集总大小：830,894,811 字节
• 下载大小：377,175,739 字节
• 训练集：1,044,523 个样本

---

数据集特征

列名	类型	描述
english	string	英语句子
darija	string	阿拉伯语脚本的摩洛哥达里贾语
arabizi	string	拉丁语脚本的达里贾语（Arabizi）
source	string	原始数据集名称（及子来源标签）
script_type	string	脚本类型："darija"、"arabizi" 或 "both"

---

数据拆分

• 训练集（train）：1,044,523 个样本

---

来源数据集

原始数据集	提供内容	备注
ilias-brh/english-darija-arabizi-sentence-pairs	英语、Arabizi	仅提供拉丁脚本
Haitam03/doda_synthetic	英语、达里贾语（阿拉伯脚本）、Arabizi	合成数据，包含两种脚本
BounharAbdelaziz/Terjman-v2-English-Darija-Dataset-580K	英语、达里贾语（阿拉伯脚本）、Arabizi	大规模数据集，有子来源标签
abdeljalilELmajjodi/opus_books_en_fr_darija	英语、达里贾语（阿拉伯脚本）	源自书籍，仅提供阿拉伯脚本

---

数据处理流程

1. 标准化：将每个来源数据集映射到统一的模式（english、darija、arabizi、source）。
2. 过滤：保留 english 不为空且 darija 或 arabizi 至少有一个不为空的样本。
3. 脚本类型标记：根据可用脚本添加 script_type 列（"darija"、"arabizi" 或 "both"）。
4. 合并与去重：按来源优先级（opus_books_en_fr_darija > Terjman-v2-English-Darija-Dataset-580K > doda_synthetic）去除重复句子。

---

使用示例

python from datasets import load_dataset

ds = load_dataset("atlasia/darija-english-combined", split="train")

搜集汇总

数据集介绍

构建方式

该数据集通过整合并归一化多个公开的英语-摩洛哥达里贾语平行语料库构建而成。原始数据来源涵盖仅包含阿拉伯语转写形式的语料库、涵盖双脚本的合成数据集，以及附有子来源标签的大规模翻译数据集与书籍衍生语料。构建流程首先将所有来源映射至统一模式，保留英语与至少一种达里贾语表示的样本，随后根据预设的源数据集优先级对重复条目进行去重，最终生成包含英语、达里贾阿拉伯文字、拉丁转写、来源标识及脚本类型标注的结构化语料。

特点

该数据集的核心特色在于其多模态脚本覆盖能力，每条记录均提供阿拉伯文字与拉丁转写两种达里贾语表示形式，并添加脚本类型标签以区分单双脚本样本。通过融合四种来源总计超过百万条句子对，数据集在规模与多样性上实现了平衡，同时借助源优先级机制确保了数据质量与一致性。这种设计使其特别适用于翻译模型、方言识别及转写系统的训练与评估。

使用方法

使用该数据集时，可通过HuggingFace的datasets库直接加载，调用`load_dataset("atlasia/darija-english-combined", split="train")`即可获取训练集。数据以标准表格格式存储，包含英语、达里贾阿拉伯文字、拉丁转写、来源及脚本类型五个字段，用户可根据任务需求选择目标字段，例如翻译任务可选用英文与任一达里贾脚本列，而转写任务则聚焦于阿拉伯文字与拉丁转写之间的对应关系。

背景与挑战

背景概述

摩洛哥阿拉伯语（Darija）作为北非地区广泛使用的口语方言，在自然语言处理领域长期面临资源匮乏的困境，尤其缺乏高质量的双语平行语料。为弥合这一鸿沟，由多所研究机构合作构建的darija-english-combined数据集于近期发布，其核心目标是为英语-摩洛哥Darija机器翻译及方言建模提供统一、标准化的训练基准。该数据集整合了四个公开来源，涵盖阿拉伯字母和拉丁字母（Arabizi）两种书写系统，共包含超过100万条句子对。通过系统性归一化、过滤、脚本类型标注及去重流程，数据集显著提升了不同来源数据的兼容性与可用性，为低资源方言翻译研究奠定了重要基石。

当前挑战

该数据集所应对的核心领域挑战在于摩洛哥Darija的多系统书写形式——阿拉伯字母与拉丁化Arabizi并存，且缺乏统一的拼写规范，导致传统翻译模型难以有效处理跨脚本对应关系。构建过程中面临多重困难：各源数据集格式差异巨大，需设计灵活的映射策略以提取英语、Darija及Arabizi三列信息；合成数据（如doda_synthetic）存在噪声，需设定严格过滤条件（保留英语非空且至少一种脚本有值）；大规模重复检测依赖文本相似度，但不同来源的同一语义表达可能拼写迥异，去重优先级需依据数据集质量与权威性人工裁定。此外，Terjman-v2数据集内部子来源标签的融合也增加了归一化复杂度。

常用场景

经典使用场景

在自然语言处理与机器翻译领域，摩洛哥阿拉伯语（Darija）作为一种资源稀缺的方言，其与标准英语之间的双语平行语料库构建一直是研究难点。darija-english-combined数据集通过整合多个公开的英语-Darija句子对资源，并统一处理为包含阿拉伯文（darija）和拉丁转写（arabizi）双脚本的标准化格式，为方言翻译、跨脚本转写以及低资源语言建模提供了经典的数据基础。研究者常利用该数据集训练序列到序列的神经翻译模型，或在预训练语言模型上进行微调，以提升Darija与英语间的翻译质量。数据集涵盖超过100万条训练样本，充分覆盖日常会话与书面语域，使其成为评估方言翻译系统性能的基准资源。

衍生相关工作

围绕该数据集的构建与发布，衍生了一系列在方言自然语言处理领域具有影响力的经典工作。其中，源于该数据集中Terjman-v2子集的大规模语料激励了研究者开发针对摩洛哥阿拉伯语的专用翻译模型，例如基于T5架构的Darija微调版本。OPUS Books子集的引入则推动了将传统典籍翻译资源用于方言建模的尝试，催生了面向文学领域的方言风格迁移研究。此外，doda_synthetic子集的合成数据生成策略启发了后续利用回译和噪声注入增强低资源方言数据的工作。脚本类型标签（darija、arabizi、both）的加入，为跨脚本词级别对齐与转写系统的评估提供了新指标，相关论文多次引用该数据集作为方言数据整合范式的参考标准。

数据集最近研究

最新研究方向

该数据集通过整合多个公开的摩洛哥达里贾方言资源，构建了罕见且规模可观的英-达里贾-阿拉伯齐平行语料库，为低资源方言的机器翻译与转写研究提供了关键支撑。当前前沿方向聚焦于方言形态的细粒度建模，尤其是阿拉伯字母与拉丁化转写（Arabizi）的双向对齐，以及跨数据源去重与脚本类型标签的自动化判定。相关工作与近年来北非地区多语言人工智能的崛起紧密关联，此数据集作为统一基准，直接推动了方言NLP从稀疏到密集、从混合到标准化的演进，对促进阿拉伯世界边缘语言的数字包容性和移民社区的语言技术普惠具有深远意义。