khmer-text-corpus

该数据集是一个经过清洗和去重的高棉语（柬埔寨语）文本语料库，其核心特点是包含自然发生的高棉语/英语语码转换现象，例如嵌入在文本中的英语科技金融术语、拉丁字母和数字。它专门用于训练SentencePiece分词器以及作为高棉语扩散解码器的文本预热启动数据。语料库共包含4,893,739个句子，以UTF-8编码，每行一个句子，并已进行去重和基于固定种子的洗牌处理以保证可复现性。数据集提供两个并行的配置版本：raw配置包含原始的自然高棉文本，无人工添加的词边界空格，适用于通用目的；segmented配置则对相同的句子进行了分词处理，并应用了地名录和拉丁文本掩码，使其可直接用于子词训练。数据来源于四个部分的混合：大规模原始高棉文本、合成OCR收据/标签文本、本地预分块文本和高棉新闻标题。所有高棉语/英语混合内容均完全来自真实来源，未注入任何合成的语码转换。预处理包括标准化、丢弃空值或无效标签，并保留高棉语词间距、标点符号、数字以及英语/拉丁语标记。对来自Hub的句子应用了长度限制。该数据集为纯文本，不含标签、翻译或任务注释。它主要适用于语言建模、掩码语言建模等文本生成任务，尤其适用于研究低资源语言处理、语码转换现象，或作为高棉语NLP模型的预训练数据。用户需注意数据可能包含非标准拼写、杂散符号和OCR伪影等真实世界噪声，且未针对个人身份信息进行过滤。This dataset is a cleaned and deduplicated Khmer (Cambodian) text corpus, with the core characteristic of containing naturally occurring Khmer/English code-switching phenomena, such as embedded English technical/financial terms, Latin letters, and numbers. It is specifically designed for training SentencePiece tokenizers and serving as text warm-up data for Khmer diffusion decoders. The corpus contains 4,893,739 sentences, encoded in UTF-8, with one sentence per line, and has undergone deduplication and shuffling based on a fixed seed to ensure reproducibility. The dataset offers two parallel configuration versions: the raw configuration contains original natural Khmer text without artificially added word boundary spaces, suitable for general purposes; the segmented configuration applies tokenization to the same sentences using `khmer-nltk`, along with gazetteer and Latin text masking, making it directly usable for subword training without re-running tokenization. The data is sourced from a mix of four components: large-scale raw Khmer text, synthetic OCR receipt/label text, locally pre-chunked text files, and Khmer news headlines. All Khmer/English mixed content originates entirely from these real sources, with no synthetic code-switching injected. Preprocessing includes normalization (conversion to strings, trimming, replacement of newlines/tabs with single spaces, merging duplicate whitespace), discarding null or invalid labels (e.g., ???, NULL), and preserving Khmer word spacing, punctuation, Khmer/Arabic numerals, and English/Latin tokens. A length limit of 5-400 characters was applied to sentences from the Hub (excluding local file chunks). The dataset is plain text, containing no labels, translations, or task annotations. It is primarily suitable for text generation tasks such as language modeling and masked language modeling, particularly for research on low-resource language processing, code-switching phenomena, or as pre-training data for Khmer NLP models. Users should note that the data may contain real-world noise such as non-standard spellings, stray symbols, and OCR artifacts, and has not been filtered for personally identifiable information.

原始信息汇总

数据集名称

Khmer + English Mixed Text Corpus（高棉语 + 英语混合文本语料库）

数据集简介

该数据集是一个经过清洗和去重的高棉语文本语料库，包含自然出现的高棉语/英语代码混合现象（如英语技术、金融术语、拉丁字母和数字嵌入高棉语文本中）。它被用作 SentencePiece 分词器和共享高棉语扩散解码器的文本预热训练数据。

数据集规模

• 总句子数：4,893,739 条句子，每行一条，UTF-8 编码，已去重并随机打乱（固定随机种子 42，可复现）。
• 大小类别：1M < n < 10M。

数据集结构

数据集提供两个并行的配置（Config）：

配置（Config）	文件	描述
raw（默认）	all_text.txt	自然高棉语文本，无人工词边界空格，适用于通用目的。
segmented	all_text_segmented.txt	相同的 4,893,739 条句子，经过 khmer-nltk 分词处理，并进行了地名/拉丁语掩码，可直接用于 SentencePiece 风格的子词训练。

数据实例

每条数据只有一个字段 text：一条归一化的句子。在 segmented 配置中，句子中的高棉语词之间用显式空格分隔。

数据划分

仅包含一个 train 训练集划分，无验证集或测试集。

数据来源

数据集由四个来源混合、去重并打乱构建而成，总量上限为 5,000,000 条句子：

来源	字段	描述	采集数量（去重前）	占比
nphearum/khmer-raw-text-3M-v2	text	大规模原始高棉语文本（按高棉语句号 ។ 分割）	4,836,355	96.7%
Sokheng/khmer-synthetic-ocr-v1-100k	text	合成 OCR 收据/标签文本（高棉语/英语/数字混合）	93,293	1.9%
khmer_corpus.txt	line	预分块的约 1000 字符高棉语文本块（本地文件）	35,373	0.7%
rinabuoy/aupp-assignment-data	title	高棉语新闻标题	34,991	0.7%

高棉语/英语的混合完全来源于上述真实数据，未注入任何合成代码切换。

数据预处理与筛选

• 归一化：每条句子强制转为字符串、去除首尾空格、将换行符/制表符替换为单个空格、合并重复空白、丢弃空值及无效标签（???、NULL、N/A、UNKNOWN）。
• 长度过滤：Hub 来源的句子保留长度在 5-400 字符范围内；本地文件不受长度限制。
• 去重与打乱：使用固定随机种子 42 进行去重和打乱。
• 分词版本处理：segmented 配置额外运行 khmer-nltk 分词，并在分词前掩码英语/数字跨度及已知借词/缩写（如 ATM、ABA、PDF 等），同时对连续的英语/拉丁字母运行基于频率的词分割，并受领域异常列表保护（如 ACLEDA、Bakong、COVID-19、5G 等）。

使用注意事项

• 已知噪声：本地 khmer_corpus.txt 和 Hub 原始网页抓取来源包含非标准拼写、杂乱符号和 OCR 伪影，为真实世界抓取文本，非精心策划编辑的语料。
• 个人隐私信息（PII）：未针对个人隐私信息进行过滤，仅执行了基本的无效标签规则。
• 纯文本：无标签、翻译或任务注释。
• 分词准确性：分词版本基于统计 CRF 模型，未针对此语料库逐行评估，应视为“降低跨词标记融合”而非“手工验证完美”。

许可协议

该语料库衍生自第三方数据集，并继承其许可证。许可证字段设为 other，需用户自行确认各来源的许可条款。

搜集汇总

数据集介绍

构建方式

该数据集整合了四个来源的文本，包括大规模原始高棉语文本、合成OCR收据文本、本地语料块以及高棉语新闻标题。原始来源中自然混入了英语技术、金融术语、拉丁字母和数字，形成了高棉语与英语的语码混合现象。所有句子经过标准化处理，包括去除空值、替换换行符和折叠多余空白，并依据字符长度进行过滤。随后，数据集被去重并以固定随机种子打乱，确保可复现性。此外，数据集提供两个并行版本：原始句子的raw配置和经过khmer-nltk分词处理的segmented配置，后者在分词前对英文、数字及常见外来词进行了掩码保护。

特点

该语料库包含约490万条去重、打乱的句子，以UTF-8编码存储，每条一行。其最显著的特点是自然发生的语码混合现象，即高棉语文本中嵌入英语词汇和数字，源自真实数据源，而非人工合成。数据集的双配置设计并行提供了原始未分词和经过词边界分割的版本，后者适用于子词分词器的训练。此外，语料库保留了大写、数字、标点符号及英文/拉丁标记，适用于语言建模和掩码填充任务。

使用方法

用户可通过HuggingFace的datasets库加载数据，调用load_dataset('Panhapich/khmer-text-corpus', 'raw')或load_dataset('Panhapich/khmer-text-corpus', 'segmented')分别获取原始和分词版本。每个数据实例包含一个text字段，即一条标准化句子。数据集仅包含训练集，适用于无监督预训练和分词器训练。对于分词版本，需注意其分词结果基于统计CRF模型，虽对普通高棉语泛化良好，但未逐行验证，使用时应视其为减少跨词标记融合的近似方案。

背景与挑战

背景概述

高棉语作为柬埔寨的官方语言，在全球低资源语言中占据重要地位，然而其自然语言处理研究长期受限于大规模、高质量语料库的匮乏。为此，研究人员Panhapich等人于近期构建了khmer-text-corpus数据集，旨在为高棉语的神经语言模型提供充足的训练素材。该数据集由约490万条句子组成，涵盖自然发生的高棉语与英语混合文本，语料源自真实场景，包括OCR收据、新闻标题和原始网页文本，显著促进了高棉语Tokenization及扩散语言模型的研究。作为Panhapich/khmer-sp-8k SentencePiece分词器的训练数据，该数据集在高棉语自然语言处理领域产生了广泛影响，为低资源语言建模树立了重要范例。

当前挑战

该数据集面临的核心挑战在于高棉语的低资源特性所引发的领域问题，包括缺乏标准分词规范、高质量标注数据稀缺以及语言模型对混合代码文本的适应性不足。构建过程中，研究人员需应对多种难题：首先，从四个异构来源整合语料时需克服数据噪声、非标准拼写和OCR伪影等问题；其次，高棉语文本中天然嵌入的英语技术术语和拉丁字符为分词器训练带来复杂性，需设计精细的掩码策略以保留混合代码结构；此外，处理长达400字符的句子时需保证长度阈值合理性，并通过去重和固定种子洗牌确保实验可重复性，但统计CRF分词模型对特定语料的泛化风险仍无法完全避免。

常用场景

经典使用场景

在高棉语自然语言处理领域，由于该语言属于低资源语种，缺乏大规模、高质量的纯文本语料，khmer-text-corpus数据集应运而生。其最经典的使用场景是作为语言建模的预训练语料，尤其适用于自回归语言模型和掩码语言模型的训练。研究者可基于该数据集的原始文本配置（raw）或分词配置（segmented），高效地学习高棉语的词汇分布、句法结构以及英-高棉语码转换的天然模式。该语料库近500万句的规模，为低资源场景下的语言模型提供了宝贵的训练基础，显著缓解了高棉语数据匮乏的困境。

实际应用

在实际产业应用中，khmer-text-corpus直接赋能了高棉语智能文本处理系统的开发。例如，基于该语料库训练的SentencePiece分词器可嵌入移动端输入法，提升高棉语单词预测与自动补全的准确性；其混码文本特性则有助于金融、科技领域的客服机器人理解诸如“ATM手续费”、“PDF下载”等英文术语与高棉语混杂的自然查询。此外，OCR合成数据来源使得模型在票据识别、车牌文字识别等场景中更具鲁棒性。开发者可借助该语料库快速构建高棉语拼写检查、新闻摘要或社交媒体内容审核工具，降低高棉语数字服务的落地门槛。

衍生相关工作

khmer-text-corpus衍生出一系列高棉语NLP领域的代表性工作，其中最突出的是Panhapich/khmer-sp-8k分词器的发布。该分词器以本语料库为训练数据，采用SentencePiece算法，实现了高棉语的高效子词切分，成为后续许多高棉语模型的标准预处理工具。此外，该语料库还被用于共享高棉语扩散解码器的文本预热阶段，为跨模态生成任务（如文本到语音、图文描述）提供了初始的文本特征学习基础。后续研究亦基于此语料，探索了低资源语言中的语码转换建模、跨语言词嵌入对齐以及无监督语义相似度计算等前沿课题，形成了以本数据集为起点的研究链条。