Multi-Dialectal Parallel Corpus for Bangla

该数据集是由锡尔赫特工程学院构建的孟加拉语多方言平行语料库，整合了七个现有数据集并新增了五个未覆盖方言的专家验证句对，总计51,531条平行句对，覆盖12种孟加拉语地域方言。数据创建过程包括源语料整合、Unicode规范化、去重与对齐，最终形成支持多方向翻译的统一资源。该数据集旨在解决孟加拉语方言间的神经机器翻译难题，为低资源方言提供训练数据，促进数字包容性，尤其服务于方言社群的语言技术需求。This is a Bengali multi-dialect parallel corpus constructed by the Sylhet Engineering College. It integrates seven existing datasets and adds 5 expert-validated sentence pairs for previously uncovered dialects, resulting in a total of 51,531 parallel sentence pairs covering 12 regional Bengali dialects. The data creation pipeline includes source corpus integration, Unicode normalization, deduplication and alignment, ultimately forming a unified resource that supports multi-directional translation. This dataset is designed to tackle the challenges of neural machine translation between Bengali dialects, provide training data for low-resource dialects, advance digital inclusion, and specifically cater to the language technology requirements of dialect-speaking communities.

搜集汇总

数据集介绍

构建方式

该数据集构建于孟加拉语区域方言多样性显著的背景下，针对现有NLP系统对区域变体支持不足的问题，整合了七个公开方言语料库，并新增了五个此前未被覆盖的方言（朗普尔、坦盖尔、基肖尔甘杰、纳拉伊尔、纳尔辛迪）的2,500条经专家验证的双向平行句对。最终形成包含12种方言、14,552行对齐数据、总计51,531条非空平行句对的语料库，每个方言子集均由三位母语者独立审核以确保质量。

特点

该数据集是目前规模最大的孟加拉语多方言平行语料库，覆盖12种区域方言，远超以往研究（2至5种）。其显著特点在于支持方言到标准孟加拉语、标准孟加拉语到方言以及直接方言到方言的多向翻译，避免了经由标准语中转的错误累积。此外，数据集通过严格的预处理流程（Unicode规范化、去重、分层采样）保障了质量，并公开于Mendeley Data以促进可复现研究。

使用方法

该数据集适用于训练和评估神经机器翻译模型，特别是参数高效的微调方法（如LoRA/DoRA）。使用时，可将数据划分为训练集（80%）、开发集（10%）和测试集（10%），并采用BLEU、chrF++、METEOR和TER等多维度指标评估翻译质量。数据集还可用于跨方言迁移学习和数据规模效应的研究，为低资源方言的机器翻译提供基准。

背景与挑战

背景概述

孟加拉语作为印度-雅利安语系的重要成员，承载着超过2.4亿使用者的交流需求，其内部却存在着显著的地域方言差异。2026年，由孟加拉国锡尔赫特工程学院的Rakib Ullah等人构建了Multi-Dialectal Parallel Corpus for Bangla数据集，旨在解决孟加拉语神经机器翻译中方言多样性带来的挑战。该数据集整合了七个既有语料库，并新增了五种未覆盖方言的2,500条专家验证平行句对，最终形成包含12种方言、51,531条非空平行句对的最大规模多方言平行语料库。这一资源的创建不仅填补了孟加拉语多方言机器翻译领域的空白，还为低资源方言的数字化包容提供了重要基础，推动了方言翻译技术的实证研究与发展。

当前挑战

该数据集所应对的挑战是多维度的。在领域层面，孟加拉语方言在音韵、形态和词汇上与传统标准口语存在显著差异，导致现有NLP系统在这些方言上性能急剧下降，而直接的多方言翻译路线（方言到方言）长期缺乏支持。在构建过程中，团队面临着方言文本标准化缺失、子词分词错误频发以及数据严重不平衡等问题，特别是一些方言仅有500对平行句，而标准孟加拉语拥有超过13,000对，这种21:1的不平衡极大地限制了模型的泛化能力。此外，构建过程中还需处理多来源数据的整合、去重与对齐，确保语料的一致性与可靠性。这些挑战共同构成了数据集研究的核心驱动力。

常用场景

经典使用场景

该数据集作为孟加拉语多方言神经机器翻译研究的基石，最经典的应用场景是构建和评估多方向翻译系统。它涵盖了12种地区方言，包括锡尔赫特语、吉大港语等，支持方言到标准孟加拉语、标准孟加拉语到方言以及方言间直接翻译三种范式，尤其适合探究低资源方言的机器翻译性能。研究者可利用这一大规模平行语料库，在统一的架构下进行跨方言的模型训练与测试，从而摆脱传统依赖标准语言作为中介的级联翻译模式，为方言翻译技术提供坚实的实验支撑。

衍生相关工作

该数据集催生了一系列衍生研究，包括对多种神经架构在方言翻译任务上的系统性比较，如BanglaT5、NLLB-200和mBART-50在参数高效微调下的性能评估。此外，它推动了数据集规模效应研究，明确了最佳数据量阈值，并启发跨方言迁移学习分析，探究方言间的形态趋同性与数据量对翻译能力的联合作用。这些工作不仅丰富了孟加拉语方言NLP的理论体系，也为其他多方言语言的类似研究提供了范式借鉴。

数据集最近研究

最新研究方向

该数据集的研究方向聚焦于构建覆盖12种孟加拉方言的大规模平行语料库，以突破传统神经机器翻译系统对标准语的依赖，实现多方言间的直接互译。研究通过融合已有资源并扩充5种此前未覆盖的方言，引入专家验证的双向平行句对，结合参数高效微调技术（如DoRA）优化BanglaT5等模型，显著提升了方言翻译的准确性与形态保真度。同时，研究深入探讨了数据规模扩展对低资源方言适配的影响，并部署了INT8量化后的轻量级在线翻译服务，旨在促进多方言社区的数字化包容与语言平等。

相关研究论文

• Poly-Dialectal Neural Machine Translation System for Bangla Regional Dialects

  锡尔赫特工程学院 · 2026年