LocalDoc/azerbaijani-pretrain-corpus

一个清洗过的阿塞拜疆语文本语料库，专为语言模型预训练而构建，合并了两个精选来源并移除了完全重复的文本。内容包括约6,931,898个文档和约53.6亿个令牌（使用`o200k_base`分词器测量；阿塞拜疆语特定分词器会产生更少的令牌，因为`o200k_base`对阿塞拜疆语的粘着性分词效率较低）。每个文档平均约773个令牌。字段包括`text`（文档或段落）和`source`（来源标签：`aztc`或`oscar`）。构建过程涉及合并AzTC-full（新闻、书籍、维基百科、立法等精选语料库）和community_oscar_azerbaijani_scored（基于OSCAR的网页语料库，仅保留质量分数≥2.5的文档），然后通过规范化文本的哈希值移除完全重复项（重复率约28%）。注意：仅移除完全重复项，近重复项未处理；OSCAR部分通过模型生成的质量分数过滤，但未经验证；原始网页文本可能包含个人数据，未进行PII移除；AzTC和OSCAR部分在清洁度上有所不同，可使用`source`字段进行加权或分离。来源数据集包括LocalDoc/AzTC-full和LocalDoc/community_oscar_azerbaijani_scored，需遵守相关许可证。

A cleaned Azerbaijani text corpus assembled for language-model pretraining, merging two curated sources and removing exact duplicates. It contains approximately 6,931,898 documents and ~5.36B tokens (measured with the `o200k_base` tokenizer; an Azerbaijani-specific tokenizer will yield fewer tokens, as `o200k_base` segments agglutinative Azerbaijani inefficiently), with an average of ~773 tokens per document. Fields include `text` (the document or passage) and `source` (origin label: `aztc` or `oscar`). The corpus was built by merging AzTC-full (curated Azerbaijani corpus including news, books, Wikipedia, legislation) and community_oscar_azerbaijani_scored (OSCAR-derived web corpus with quality scores, only documents with quality score >= 2.5 were kept), followed by exact deduplication using hashes of normalized text (NFKC, whitespace-collapsed, casefolded), removing about 28% duplicates. Note that only exact duplicates were removed, near-duplicates remain; the OSCAR portion was filtered by a model-generated quality score (threshold 2.5), though not verified against human annotation; raw web text may contain personal data with no PII removal applied; AzTC and OSCAR portions differ in cleanliness, and the `source` field can be used for weighting or separation. Source datasets are LocalDoc/AzTC-full and LocalDoc/community_oscar_azerbaijani_scored, with licenses to be reviewed and aligned.

搜集汇总

数据集介绍

构建方式

该数据集旨在为阿塞拜疆语的预训练语言模型提供高质量的文本语料。其构建过程融合了两个精心筛选的数据源：其一为AzTC-full语料库，涵盖新闻、书籍、维基百科与法律文本等多元领域，约440万篇文档；其二为社区OSCAR阿塞拜疆语子集，通过质量评分模型过滤，仅保留得分不低于2.5的文档，约520万篇。两源合并后，基于经过NFKC规范化、空白折叠与小写处理的文本哈希值，精确去除了约28%的完全重复项，最终形成约693万篇文档的纯净语料。每个样本均保留原文与来源标签（aztc或oscar），便于后续分析。

特点

该语料库的显著特点在于其规模与去重策略的审慎平衡。总计约693万篇文档、约53.6亿词元（以o200k_base分词器计），平均每篇773词元，为阿塞拜疆语模型预训练提供了丰富的语言资源。其采用精确去重而非近重复检测，虽保留了跨平台转载新闻等近重复内容，但避免了MinHash/LSH带来的计算开销与参数敏感性。值得关注的是，OSCAR部分的质量过滤依赖模型生成的标签，阈值设定为2.5，偏向高分区域，但未经人工校验，引入了一定不确定性。此外，原始网页中潜在的隐私信息未被剔除，AzTC与OSCAR两源在文本洁净度上存在差异，用户可借助来源字段进行差异化处理。

使用方法

该数据集以HuggingFace Datasets库的标准格式发布，用户可通过`load_dataset`函数直接加载，无需额外预处理。每条记录包含`text`字段（待预训练的文本内容）与`source`字段（标识来源为aztc或oscar）。对于常规预训练任务，直接使用`text`字段即可；若需控制数据源比例或进行领域加权训练，可利用`source`字段进行筛选或采样。需注意，分词时应考虑阿塞拜疆语的黏着语特性，使用专用分词器替换o200k_base以避免效率损失。由于数据集未进行近重复去除，若对文本多样性要求极高，建议用户自行采用MinHash等算法进一步净化。

背景与挑战

背景概述

阿塞拜疆语作为突厥语系的重要成员，在自然语言处理领域长期面临资源匮乏的困境，尤其是用于预训练的大规模、高质量文本语料库严重不足。基于这一现状，LocalDoc研究团队于近年来构建了Azerbaijani Pretrain Corpus数据集，通过整合AzTC-full（涵盖新闻、书籍、维基百科和法律文本的精选语料）与经由质量评分筛选的OSCAR网络语料，并执行精确去重，最终形成包含约693万文档、总词元数达53.6亿的聚合语料库。该数据集以CC-BY-4.0许可发布，专为文本生成任务的预训练设计，显著填补了阿塞拜疆语言模型基础资源的空白，为低资源语言的深度学习研究提供了关键支撑。

当前挑战

该数据集面临的核心挑战首先在于领域问题的特殊性——阿塞拜疆语作为黏着语，其词形变化复杂，通用分词器（如o200k_base）效率低下，亟需开发专有分词工具以优化预训练效果。其次，构建过程中遭遇多重困难：OSCAR语料的质量筛选依赖LLM生成标签训练的模型打分，阈值为2.5的过滤标准未经人工验证，导致部分低质量文本残留；仅执行精确去重而未使用MinHash/LSH等算法处理近似重复（如跨网站的新闻变体），使得大量语义重复内容留存。此外，未经PII清洗的原始网页文本可能包含个人信息，且AzTC与OSCAR两部分语料的洁净度差异显著，进一步增加了模型训练的噪声控制难度。

常用场景

经典使用场景

在自然语言处理领域，阿塞拜疆语作为一种资源稀缺的语言，其预训练语料库的构建尤为关键。azerbaijani-pretrain-corpus数据集为语言模型的预训练提供了高质量、大规模的文本素材，涵盖新闻、书籍、维基百科和法律文献等多源内容，并经过精确去重处理。研究者可利用该数据集进行基于Transformer架构的因果语言模型或掩码语言模型的训练，从而为后续的下游任务奠定坚实的表示基础。其平均每文档约773个token的长度分布，适合用于训练处理中等篇幅文本的模型，尤其适用于文本生成任务的预训练阶段。

实际应用

在实际应用层面，该数据集支撑了面向阿塞拜疆语的多种智能语言服务的开发。基于该语料预训练的语言模型可直接应用于阿塞拜疆语的机器翻译系统，提升译文流畅度与领域适应性；也可用于构建智能客服、新闻摘要生成、法律文档辅助撰写等工具。此外，由于语料中包含了法律与新闻文本，其在信息抽取、文本分类以及情感分析等商业场景中也展现出良好的实用性，为阿塞拜疆语地区的数字化服务提供了底层语言基础设施。

衍生相关工作

该数据集催生了多方面的衍生研究工作。首先，基于该语料预训练的模型可成为阿塞拜疆语下游任务微调的起点，如命名实体识别、语义相似度计算等。其次，数据集构建过程中采用的质量评分与去重策略启发了针对低资源语言的语料清洗流程设计。此外，研究者可借此数据集探索多语言词表适配、亚稳态学习率调度等技术，并对比不同分词器（如o200k_base与阿塞拜疆语专用BPE）对模型效果的影响。这些工作共同丰富了低资源语言预训练的研究生态。