sinhala-english-singlish-translation

僧伽罗语-英语-Singlish翻译数据集是一个包含34,500个对齐三元组的并行语料库，每个三元组包括僧伽罗语（本地脚本）、英语（人工翻译）和罗马化的僧伽罗语（Singlish）。这个数据集旨在用于翻译任务、文本生成和文本到文本生成等NLP相关的研究和应用。

原始信息汇总

Sinhala–English–Singlish Translation Dataset 概述

数据集基本信息

• 名称: Sinhala–English–Singlish Translation Dataset
• 任务类别: 翻译、文本生成、文本到文本生成
• 语言: 英语 (en)、僧伽罗语 (si)
• 标签: 翻译、转写、僧伽罗语、英语、新加坡式英语、自然语言处理、数据集、低资源
• 大小: 10K<n<100K
• 许可证: CC License

数据集描述

• 内容: 34,500个对齐的三元组，包括：
  • 僧伽罗语（原生脚本）
  • 英语（人工翻译）
  • 新加坡式英语（罗马化的僧伽罗语）
• 来源:
  • Kaggle数据集: programmerrdai/sinhala-english-singlish-translation-dataset
  • 收集管道: GitHub Sinenglish-LLM-Data-Collection
• DOI: 10.57967/hf/5605
• 发布日期: 2025年（修订版 c6560ff）

数据集结构

列名	类型	描述
sinhala	string	僧伽罗语脚本的原句
english	string	对应的英语翻译
singlish	string	罗马化的僧伽罗语（新加坡式英语）

• 行数: 34,500
• 格式: CSV（在HF上以Parquet格式查看）

使用示例

1. 加载到Pandas: python import pandas as pd from datasets import load_dataset

   df = load_dataset( "Programmer-RD-AI/sinhala-english-singlish-translation", split="train" ).to_pandas()

2. 微调翻译模型: python from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, Trainer, TrainingArguments

   tokenizer = AutoTokenizer.from_pretrained("t5-small") model = AutoModelForSeq2SeqLM.from_pretrained("t5-small")

   def preprocess(ex): inputs = "translate Sinhala to English: " + ex["sinhala"] targets = ex["english"] tokenized = tokenizer(inputs, text_target=targets, truncation=True) return tokenized

   train_dataset = ds.map(preprocess, remove_columns=ds.column_names)

引用

bibtex @misc{ranuga_disansa_gamage_2025, author = { Ranuga Disansa Gamage and Sasvidu Abesinghe and Sheneli Fernando and Thulana Vithanage }, title = { sinhala-english-singlish-translation (Revision b6bde25) }, year = 2025, url = { https://huggingface.co/datasets/Programmer-RD-AI/sinhala-english-singlish-translation }, doi = { 10.57967/hf/5626 }, publisher = { Hugging Face } }

许可证

• 类型: CC License

搜集汇总

数据集介绍

构建方式

该数据集通过系统化的数据收集流程构建，涵盖了34,500条精心对齐的三元组数据，包括僧伽罗语原生脚本、专业人工翻译的英语版本以及罗马化的僧伽罗语转写（Singlish）。数据源来自Kaggle公开数据集，并通过GitHub上的Sinenglish-LLM-Data-Collection项目进行质量校验和格式标准化，最终以CSV和Parquet格式发布，确保数据的完整性和易用性。

特点

作为低资源语言处理领域的重要资源，该数据集独特地整合了僧伽罗语与英语的双语对齐语料，同时包含罗马化转写变体。其核心价值在于三模态的平行文本结构，为机器翻译、音译研究和跨文字系统自然语言处理任务提供了多维度的训练素材。数据集经过严格的校对流程，语言覆盖日常用语和专业术语，文本长度分布均衡，适用于各类序列到序列模型的训练需求。

使用方法

使用者可通过Hugging Face的datasets库直接加载数据集，支持灵活的数据访问方式。典型应用场景包括：基于transformers库构建seq2seq翻译模型，利用pandas进行数据分析，或开展低资源语言的多任务学习研究。数据集特别设计了'translate Sinhala to English'的标准输入前缀，方便用户快速构建训练管道。对于模型微调任务，建议采用T5等通用架构，并参考提供的训练参数配置示例进行超参数优化。

背景与挑战

背景概述

Sinhala–English–Singlish翻译数据集由Ranuga Disansa Gamage等人于2025年构建，旨在解决低资源语言机器翻译领域的关键问题。该数据集包含34,500条平行语料，涵盖僧伽罗语原生脚本、英语人工翻译及罗马化僧伽罗语（Singlish）三种文本形式，为南亚语言处理研究提供了重要基础。作为僧伽罗语首个大规模多模态翻译语料库，其通过Kaggle平台和GitHub开源工具链发布，显著促进了低资源语言在神经机器翻译、跨文字系统转写等NLP子领域的发展。

当前挑战

该数据集面临的核心挑战体现在两方面：在领域问题层面，僧伽罗语作为形态复杂的黏着语，其与英语间的结构差异导致传统基于短语的统计机器翻译模型性能受限，而罗马化转写过程还需解决音素-文字对齐问题；在构建过程中，数据采集需克服僧伽罗语数字资源稀缺的困境，专业译者的稀缺性使人工校验成本倍增，同时Singlish转写缺乏标准规范，需设计基于音系学的统一转写规则以确保数据一致性。

常用场景

经典使用场景

在低资源语言处理领域，Sinhala–English–Singlish翻译数据集为研究者提供了一个宝贵的资源，用于训练和评估机器翻译模型。该数据集包含34,500条Sinhala语句及其对应的英文翻译和罗马化Sinhala（Singlish）转写，特别适用于多语言翻译任务。通过该数据集，研究者可以探索Sinhala与英文之间的翻译机制，同时还能研究罗马化转写对翻译质量的影响。

实际应用

在实际应用中，该数据集可广泛应用于跨语言信息检索、多语言聊天机器人和语音识别系统。例如，在斯里兰卡等Sinhala语为主要语言的地区，该数据集能够支持本地化服务的开发，如翻译应用和语音助手。同时，Singlish转写为语音合成和文本转语音技术提供了重要数据，进一步提升了多语言服务的可用性。

衍生相关工作

基于该数据集，研究者已开展多项经典工作，包括开发针对Sinhala的低资源翻译模型和探索罗马化文本的自动转写技术。例如，一些研究利用该数据集训练了T5和mBART等预训练模型，显著提升了Sinhala-英文翻译的准确性。此外，该数据集还启发了对Singlish转写系统的优化研究，为多语言文本处理提供了新的技术路径。