SLPG/Punjabi_Transliteration_Corpus

Punjabi Transliteration Corpus (PTC) 是一个全面的数据集，包含6.3百万对Gurmukhi和Shahmukhi脚本的平行句子。该数据集精心编纂，旨在支持旁遮普语文本神经机器转写模型的开发和评估。涵盖多个领域，包括CCaligned、ccmatrix、TED、QED、OPUS、TIco、Wikimedia、Multicclaigned、Emille、IJCNLP、xlent和paracrawl。测试集为FLORES-101。模型性能方面，Gurmukhi-to-Shahmukhi模型的BLEU分数为98.1，词级准确率为99.5%，字符错误率为99.1%；Shahmukhi-to-Gurmukhi模型的BLEU分数为87.7。

The Punjabi Transliteration Corpus (PTC) is a comprehensive dataset containing 6.3 million parallel sentences in Gurmukhi and Shahmukhi scripts. This corpus has been meticulously compiled to support the development and evaluation of neural machine transliteration (NMT) models for Punjabi text. It covers various domains including CCaligned, ccmatrix, TED, QED, OPUS, TIco, Wikimedia, Multicclaigned, Emille, IJCNLP, xlent, and paracrawl. The test corpus is FLORES-101. The Gurmukhi-to-Shahmukhi model has a BLEU score of 98.1, word-level accuracy of 99.5%, and character error rate of 99.1%; the Shahmukhi-to-Gurmukhi model has a BLEU score of 87.7.

原始信息汇总

Punjabi Transliteration Corpus (PTC)

概述

Punjabi Transliteration Corpus (PTC) 是一个包含630万对平行句子的综合数据集，涵盖Gurmukhi和Shahmukhi两种脚本。该数据集旨在支持开发和评估用于旁遮普语文本的神经机器转写（NMT）模型。

数据集详情

• 总句子数: 630万
• 涵盖领域: 包括CCaligned、ccmatrix、TED、QED、OPUS、TIco、Wikimedia、Multicclaigned、Emille、IJCNLP、xlent和paracrawl等多个领域。
• 测试语料库: FLORES-101

模型

Gurmukhi-to-Shahmukhi 模型

• BLEU 分数: 98.1
• 词级准确率: 99.5%
• 字符错误率 (CER): 99.1%

Shahmukhi-to-Gurmukhi 模型

• BLEU 分数: 87.7

用途

该资源旨在促进旁遮普语转写领域的研究和开发。可用于训练新模型或改进现有模型，实现Gurmukhi和Shahmukhi脚本之间的高质量转写。

搜集汇总

数据集介绍

构建方式

在自然语言处理与机器翻译领域，跨文字体系的转写任务对于低资源语言尤为重要。SLPG/Punjabi_Transliteration_Corpus（PTC）数据集应运而生，通过汇集来自CCAligned、CCMatrix、TED、QED、OPUS、TICO、Wikimedia、MultiCCAligned、Emille、IJCNLP、XLENT和ParaCrawl等多个开放语料库的庞大数据源，精心构建了一个包含630万平行句对的语料库。这些句对覆盖了广泛的文本领域，确保了数据在词汇、句法和语义层面的多样性。此外，数据集采用FLORES-101作为测试语料，为模型的客观评估提供了标准化基准。整个构建过程强调数据的对齐精度与脚本一致性，旨在为旁遮普语的古木基文和沙木基文之间的神经机器转写模型提供坚实的数据基础。

特点

该数据集最显著的特点在于其宏大的规模与卓越的转写性能支撑能力。包含630万平行句对，使其成为目前旁遮普语转写领域体量最大的公开资源之一。基于此数据集训练的古木基文至沙木基文模型取得了高达98.1的BLEU分数和99.5%的词级准确率，字符错误率（CER）接近完美（99.1%），充分证明了数据的高质量与有效性。同时，反向转写模型（沙木基文至古木基文）亦取得87.7的BLEU分数，展示了双向转写的均衡能力。数据集的领域覆盖广泛，从日常对话到专业文献，增强了模型的泛化性能，为旁遮普语信息处理和数字人文研究提供了强有力的工具。

使用方法

该数据集专为旁遮普语转写系统的研发与评测而设计，使用方法灵活且面向不同需求。研究者可直接使用提供的630万平行句对，通过标准的序列到序列学习框架训练自定义的神经机器转写模型，支持古木基文与沙木基文之间的双向转换。对于希望快速部署应用的开发者，数据集已附带预训练的高性能模型（Gurmukhi-to-Shahmukhi与Shahmukhi-to-Gurmukhi），可直接调用进行推理。在评估阶段，推荐使用内置的FLORES-101测试集进行模型性能的客观衡量。此外，数据集还可作为微调基础，应用于旁遮普语的多模态任务或跨文字信息检索系统，推动该语言在人工智能生态中的进一步发展。

背景与挑战

背景概述

旁遮普语作为南亚地区广泛使用的语言，其书写系统存在显著的多样性，主要分为古木基文（Gurmukhi）和沙穆基文（Shahmukhi）两种脚本。这两种脚本在形态和拼写规则上差异巨大，导致跨脚本文本转换成为自然语言处理领域的一项重要挑战。2024年，由Shehzadi Ambreen、Sadaf Abdul Rauf等研究者组成的团队构建了旁遮普语转写语料库（Punjabi Transliteration Corpus, PTC），旨在填补该语言在神经机器转写（NMT）研究中的资源空白。该数据集包含630万条平行句对，覆盖CCAligned、CCMatrix、TED、QED、OPUS等多个领域，并使用FLORES-101作为测试集。PTC的发布为旁遮普语的双向脚本转写提供了高质量基准，显著推动了低资源语言转写技术的发展，其训练的模型在古木基文到沙穆基文的转写任务中达到了98.1的BLEU分数，展现了卓越的性能。

当前挑战

旁遮普语转写所面临的挑战首先源于脚本间的深层差异：古木基文是基于音节的表音文字，而沙穆基文是源自阿拉伯字母的辅音音素文字，两者在字符集、连字规则和元音表示上缺乏一一对应关系，导致直接映射极为困难。此外，构建PTC过程中遇到了数据稀缺与噪声问题，尽管整合了多个领域的平行语料，但部分来源如Paracrawl和CCAligned存在对齐错误与翻译不准确，需要大量人工清洗与校验。同时，测试集FLORES-101的规模有限，可能无法全面评估模型在真实场景中的泛化能力。最后，现有模型在沙穆基文到古木基文的转写任务中BLEU分数仅为87.7，明显低于反向任务，揭示了方向性转写性能不均衡的瓶颈，亟需更精细的语料增强与算法优化来突破这一局限。

常用场景

经典使用场景

在自然语言处理与机器翻译领域，旁遮普语转写语料库（PTC）被广泛用于训练和评估神经机器转写（NMT）模型，尤其是在古木基文（Gurmukhi）与沙木基文（Shahmukhi）两种书写系统之间的相互转换。该数据集包含630万条平行句子，覆盖CCAligned、CCMatrix、TED、OPUS、Wikimedia等多领域语料，为跨脚本转写任务提供了丰富而均衡的训练素材。其经典使用场景是构建高精度转写系统，如基于Transformer架构的序列到序列模型，以实现对旁遮普语文本在两种脚本间的无损转换。

实际应用

在实际应用中，PTC数据集支撑的转写系统可无缝集成于旁遮普语数字平台，例如社交媒体内容的多脚本呈现、电子政务中的文本统一处理以及跨区域新闻的自动转写。在巴基斯坦与印度的旁遮普语社群中，该系统被用于实现古木基文与沙木基文之间的实时转换，促进文化传播与信息共享。此外，PTC还可辅助光学字符识别（OCR）后处理、语音识别系统的文本规范化，以及旁遮普语教育资源的跨脚本适配，显著提升多语言场景下的用户体验与数据互通效率。

衍生相关工作

基于PTC数据集，研究者已衍生出多项经典工作，包括Shehzadi等人（2024）提出的无监督旁遮普语语料库与神经机器转写系统，在古木基文到沙木基文的转写任务上实现了98.1的BLEU分数与99.5%的词级准确率。后续工作进一步探索了基于对比学习的跨脚本表示对齐、轻量级转写模型的移动端部署，以及结合预训练语言模型（如mT5）的零样本转写方法。这些衍生研究不仅深化了旁遮普语NLP的理论基础，也为其他低资源语言（如信德语、克什米尔语）的跨脚本处理提供了可迁移的方法论范式。