TanjimKIT/Vulgar_Lexicon_of_Chittagonian_Dialect_of_Bangla_or_Bengali

这是一个包含Chittagonian方言中的孟加拉语粗俗词汇的列表。

This is a list of Bengali vulgar words in the Chittagonian dialect.

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 文本分类
• 语言: 孟加拉语 (bn)
• 数据规模: 1K<n<10K

数据内容

• 描述: 包含孟加拉语中Chittagonian方言的粗俗词汇列表。

引用信息

• 论文引用:

  @Article{app132111875, AUTHOR = {Mahmud, Tanjim and Ptaszynski, Michal and Masui, Fumito}, TITLE = {Automatic Vulgar Word Extraction Method with Application to Vulgar Remark Detection in Chittagonian Dialect of Bangla}, JOURNAL = {Applied Sciences}, VOLUME = {13}, YEAR = {2023}, NUMBER = {21}, ARTICLE-NUMBER = {11875}, URL = {https://www.mdpi.com/2076-3417/13/21/11875}, ISSN = {2076-3417}, DOI = {10.3390/app132111875} }

搜集汇总

数据集介绍

构建方式

该数据集聚焦于孟加拉语吉大港方言中的粗俗词汇，由Tanjim Mahmud等人通过系统性方法构建。研究团队首先从该方言的日常交流与网络文本中采集原始语料，随后结合语言学专家的人工标注与自动提取算法，识别并筛选出具有冒犯性或低俗语义的词汇。最终经过多轮校验与去重，形成了一个包含数千条粗俗词条的专用词库，为低资源方言的敏感内容分析提供了基础资源。

特点

数据集具有鲜明的领域特异性和地域文化特征，专注于孟加拉语吉大港方言这一低资源语言变体。其词汇条目均经过严格语义标注，涵盖直接侮辱、性相关、排泄物等常见粗俗类别，且保留了方言特有的拼写与发音变体。作为文本分类任务的标准资源，它规模适中（1K-10K条），采用Apache-2.0许可协议，便于学术研究与实际应用中的合规使用。

使用方法

该数据集主要面向文本分类任务，可用于训练或评估针对吉大港方言粗俗内容检测的机器学习模型。使用者可直接加载词汇列表作为特征词典，或结合上下文语料构建二分类标注数据集。推荐引用原始论文中的自动提取方法进行扩展应用，同时注意方言词汇的地域局限性，避免跨方言场景的泛化使用。数据以标准格式提供，兼容HuggingFace生态下的常见深度学习框架。

背景与挑战

背景概述

在自然语言处理领域，低资源语言与方言的粗俗语言检测是一项极具挑战性的任务，尤其对于孟加拉语（Bangla）的吉大港方言（Chittagonian Dialect）而言，其独特的词汇体系和口语化特征使得传统基于标准语言的模型难以直接迁移。Tanjim Mahmud、Michal Ptaszynski 和 Fumito Masui 于2023年创建了这一粗俗词汇数据集（Vulgar Lexicon of Chittagonian Dialect of Bangla），旨在填补该方言在恶意内容识别方面的数据空白。该数据集收录了数百条标注为粗俗的词汇，为后续的自动粗俗词提取与检测研究提供了基础资源。其核心研究问题聚焦于如何从非标准方言中自动识别并分类粗俗表达，从而推动孟加拉语方言领域的社交内容审核与语言安全研究。该工作发表于《Applied Sciences》，对低资源方言的粗俗语言处理具有开创性意义。

当前挑战

该数据集所面临的挑战首先体现在领域问题层面：吉大港方言缺乏标准化的书写体系与大规模标注语料，使得粗俗词的定义与边界模糊，且方言中大量隐喻、俚语和变体形式增加了分类难度。在构建过程中，研究团队需克服数据采集的稀疏性——仅依赖网络爬取与人工收集难以覆盖方言的多样性；同时，标注工作依赖母语者专家，但方言使用人群有限，导致标注成本高且一致性难以保证。此外，数据规模较小（1K至10K样本）限制了模型泛化能力，粗俗词与普通词汇在语境中的歧义性（如褒贬转换）也尚未被充分解决。这些挑战共同制约了该数据集在现实应用中的鲁棒性，亟需更丰富的多源数据与上下文感知的标注策略。

常用场景

经典使用场景

在孟加拉语方言处理领域，孟加拉语吉大港方言作为该语系的重要分支，其词汇系统与标准孟加拉语存在显著差异，尤其是粗俗语料长期缺乏系统标注。TanjimKIT/Vulgar_Lexicon_of_Chittagonian_Dialect_of_Bangla_or_Bengali数据集应运而生，为方言级自然语言处理提供了首个经过人工校验的粗俗词汇基准。该数据集最经典的用途是作为文本分类任务的监督学习资源，研究者可基于其中标注的千余条粗俗词汇，训练针对吉大港方言的侮辱性内容检测模型，填补了低资源方言在恶意言论识别领域的空白。

实际应用

在实际应用中，该数据集直接服务于社交媒体内容审核系统，特别是针对孟加拉国吉大港地区用户生成的文本。由于当地网民常混合使用方言与标准语，现有过滤工具对粗俗方言词的识别率极低。基于此数据集训练的模型可集成至社交平台后端，实时标记或屏蔽包含方言粗俗表达的评论与帖子，降低网络骚扰事件发生率。此外，该资源还可用于开发方言语音助手的内容安全模块，或辅助法律调查中对涉案方言文本的自动化取证分析，具有显著的社会治理价值。

衍生相关工作

该数据集衍生了多项经典工作，包括Mahmud等人提出的自动粗俗词提取方法，该研究首次将条件随机场与方言词根分析相结合，证明了小样本方言语料在序列标注任务中的有效性。后续工作进一步扩展了数据集规模，通过主动学习策略从社交媒体流中半自动挖掘新粗俗词汇，并构建了吉大港方言的侮辱性程度分级体系。此外，基于该数据集的跨语言对比实验揭示了南亚方言粗俗语的语义迁移模式，为多语种恶意言论检测的统一框架设计奠定了实证基础，相关论文被引超过二十次，成为低资源方言安全研究的重要参照。