BiST

BiST是由库尔纳工程技术大学与肯尼索州立大学联合构建的首个孟加拉语-英语双语语法标注语料库，包含30,534条句子（英语17,465条，孟加拉语13,069条），数据来源于维基百科和日常对话文本。该数据集通过多阶段预处理和三位独立标注者的维度级Fleiss’ Kappa一致性验证（结构标注κ=0.82，时态标注κ=0.88），标注了句法结构（简单/复合/复杂/复杂复合句）和时态（现在/过去/将来）双维度信息。其核心应用涵盖语法建模、跨语言表示学习及教育NLP系统开发，旨在解决低资源语言场景下双语语法标注数据匮乏的问题。BiST is the first Bengali-English bilingual syntactically annotated corpus jointly constructed by Khulna University of Engineering & Technology and Kennesaw State University. It contains a total of 30,534 sentences, with 17,465 in English and 13,069 in Bengali, sourced from Wikipedia and daily conversational texts. This dataset has undergone multi-stage preprocessing and was validated for inter-annotator consistency via dimension-wise Fleiss’ Kappa test by three independent annotators, with κ values of 0.82 for syntactic structure annotation and 0.88 for tense annotation. It is annotated with dual-dimensional information including syntactic structures (simple, compound, complex, and complex-compound sentences) and tense categories (present, past, and future). Its core applications cover grammatical modeling, cross-lingual representation learning, and educational NLP system development, aiming to address the shortage of bilingual syntactically annotated data in low-resource language scenarios.

原始信息汇总

BiST数据集概述

数据集基本信息

• 数据集名称：BiST
• 关联学术会议：LREC-2026
• 当前状态：相关论文已被LREC-2026会议录用

数据集关联文献

• 该数据集对应一篇学术论文，该论文已被LREC-2026会议收录，并计划发表于会议论文集中。

搜集汇总

数据集介绍

构建方式

在低资源语言处理领域，高质量双语语料库的稀缺性长期制约着孟加拉语与英语的跨语言研究。BiST语料库的构建遵循了系统化、多阶段的工程流程，首先从开放许可的百科资源与自然对话文本中采集原始语句，经过文本清洗、拼写校正及去重等预处理步骤，确保数据质量。随后通过自动化语言识别算法区分孟加拉语与英语句子，最终形成包含30,534个句子的双语集合。标注过程采用三维独立标注者框架，依据明确的句法结构与时态分类准则进行标注，并通过Fleiss' Kappa系数评估标注者间一致性，结构标注与时态标注的κ值分别达到0.82与0.88，保证了标注结果的可靠性与可复现性。

特点

BiST语料库的核心特征体现在其双维度的语言学标注体系与严格的质量控制机制。该语料库首次为孟加拉语-英语双语环境提供了统一的句法结构（简单句、复杂句、并列句、复杂并列句）与时态（现在时、过去时、将来时）联合标注，覆盖了语言理解中的基础语法维度。语料库在语言分布上包含17,465个英语句子与13,069个孟加拉语句子，呈现出自然的句长差异与结构多样性。统计分析显示，其句子结构与时态分布反映了真实语言使用中的不平衡性，例如简单句占比最高（39.87%），现在时句子占主导（57.62%），这种分布为模型训练提供了现实的语言学挑战。此外，语料库通过词云可视化展示了不同类别间的词汇分布特征，为深层语言分析提供了直观依据。

使用方法

BiST语料库为双语语法建模与跨语言研究提供了多方面的应用路径。研究者可将其作为基准数据集，用于训练和评估句法结构分类与时态识别模型，尤其适合探索低资源场景下的跨语言迁移学习。实验表明，结合语言特异性表征的双编码器架构在该语料库上表现优于通用多语言编码器，这验证了语料库在推动语言自适应模型发展方面的价值。此外，该语料库的标注信息可直接支持教育自然语言处理任务，如语法纠错、自动反馈生成与可控文本生成，其中对齐的双语标注有助于构建更精准的跨语言表示。语料库的开放访问特性进一步促进了可复现研究，为孟加拉语-英语双语自然语言处理社区的持续创新奠定了资源基础。

背景与挑战

背景概述

在低资源语言的多语言自然语言处理研究中，高质量双语标注资源的匮乏长期制约着相关模型的进步，特别是对于孟加拉语这类广泛使用但计算资源有限的语种。为应对这一挑战，库尔纳工程技术大学与肯尼索州立大学的研究团队于2026年联合构建了BiST数据集，这是一个经过严格标注的孟加拉语-英语双语语料库。该数据集的核心研究问题在于为句子层面的语法分类提供统一的基准资源，具体针对句法结构与时态两个基本维度进行系统标注。BiST从开放许可的百科全书资源及自然对话文本中收集并处理了30,534个句子，通过多阶段标注框架与三位独立标注者确保了标注的高可靠性，其结构与时态标注的Fleiss' Kappa一致性系数分别达到0.82与0.88。该数据集的建立不仅为双语语法建模提供了首个联合标注的黄金标准，而且通过基线实验证明了语言特定表征的有效性，从而显著推动了低资源场景下的跨语言表示学习与语法感知任务研究。

当前挑战

BiST数据集旨在解决的领域核心挑战是低资源双语场景下的句子级语法分类问题，特别是孟加拉语-英语在句法结构和时态上的联合建模与跨语言比较。这一任务面临双重困难：首先，不同语言在从句构成与时态表达上存在结构性差异，模型需捕捉深层次语法对应关系而非表面词汇特征；其次，数据集中存在的类别分布不平衡，如简单句子占比过高而复合复杂句占比偏低，以及现在时态句子远多于过去与未来时态，可能导致模型偏向于预测主导类别，影响对少数语法结构的识别鲁棒性。在构建过程中，研究团队遭遇了多项具体挑战：其一，从维基百科与日常对话中收集高质量双语数据时，需确保文本的合法授权与语言纯净度，并设计自动化语言识别算法以准确分离孟加拉语与英语句子；其二，制定清晰且可操作的标注指南尤为关键，尤其是在区分复杂句、复合句与复合复杂句等易混淆结构时，需要明确定义从句边界与主从关系；其三，维持跨标注者的一致性面临实际困难，需要通过多轮独立标注、多数投票与共识讨论来解决歧义案例，以确保最终标注结果的可靠性与可复现性。

常用场景

经典使用场景

在低资源语言的自然语言处理研究中，双语语料库的构建与评估是推动跨语言模型发展的关键环节。BiST数据集作为首个针对孟加拉语和英语的句法结构与时态分类双语标注语料库，其最经典的使用场景在于为双语语法建模任务提供基准测试平台。研究者利用该数据集训练和评估各类神经网络模型，特别是双编码器架构，以验证其在句法结构和时态分类任务上的性能表现。通过对比多语言编码器与语言特定编码器的效果，BiST为低资源场景下的语法理解研究提供了可靠的实验基础。

实际应用

在实际应用层面，BiST数据集为教育技术、语言学习和自动化文本处理系统提供了重要支持。其句法结构和时态标注信息可直接应用于语法纠错系统、自动化反馈生成工具以及语言学习应用程序的开发。例如，在教育自然语言处理领域，基于BiST训练的模型能够为学习者提供针对句子结构和时态使用的个性化指导。同时，该数据集支持的受控文本生成技术可用于创建符合特定语法约束的教学材料，而其跨语言标注特性也为多语言内容生成和机器翻译系统的语法一致性优化提供了可能。

衍生相关工作

围绕BiST数据集衍生的经典工作主要集中在双语语法建模架构的创新与扩展。基于该数据集，研究者开发了多种双编码器模型，如BERT与BanglaBERT的组合架构，这些模型在利用语言特定表示方面展现出显著优势。相关研究进一步探索了将句法结构和时态标注应用于情感分析、立场检测等下游任务的方法，验证了语法特征对语义理解的影响。此外，该数据集还促进了跨语言迁移学习框架的发展，特别是在低资源语言场景下，如何利用高质量双语标注提升模型对语法现象的捕捉能力成为后续研究的重要方向。