Awesome_Bangla_Datasets

这是一个孟加拉语（Bangla）数据集的精选集合，旨在为人工智能和深度学习应用提供更新、全面的孟加拉语数据资源。该合集覆盖了自然语言处理（包括文本分类、命名实体识别、翻译、对话、文本摘要、问答、词形还原等任务）、自动语音识别、文本转语音、光学字符识别等多个领域。它整理了来自Kaggle、Hugging Face等平台的数据集链接和简要描述，以帮助研究人员和开发者更容易地访问和利用孟加拉语数据集。This is a curated collection of Bangla language datasets, developed to provide up-to-date and comprehensive Bangla language data resources for artificial intelligence and deep learning applications. This collection covers multiple domains including Natural Language Processing (NLP) tasks such as text classification, Named Entity Recognition (NER), translation, dialogue, text summarization, question answering (QA), lemmatization, as well as Automatic Speech Recognition (ASR), Text-to-Speech (TTS) and Optical Character Recognition (OCR). It compiles dataset links and brief descriptions from platforms including Kaggle, Hugging Face and other platforms, to help researchers and developers more easily access and utilize Bangla language datasets.

原始信息汇总

Awesome Bangla Datasets 概览

该仓库汇集了孟加拉语（Bangla）在深度学习不同领域的多种数据集，涵盖自然语言处理（NLP）、语音识别（ASR）、语音合成（TTS）和光学字符识别（OCR）等任务。

孟加拉语 NLP 数据集

任务无关的 NLP 数据集

• 词表与停用词：Bangla Word List、Bangla Stop Words
• 大规模语料库：CC-100、Googles C4 dataset（孟加拉语部分）、Wikipedia Dump Dataset
• OSCAR 语料库：官方网站和 Hugging Face 版本
• 新闻语料库：Potrika（8个主题5个属性的大规模新闻数据集）、Bangladesh Protidin News Dataset、Bangla Newspaper dataset for topic modeling、Prothom-alo/Jugantor/Ittefaq News Dataset、bdNews24 Dataset、Indian News Dataset、Old Newspapers
• 其他语料：Samanantar、Indic Corp、Bangla Poetry Dataset、Bangla Medical Dataset、BanglaLM、Pralekha

孟加拉语大语言模型（LLM）数据集

• 预训练任务：所有任务无关的 NLP 数据集 + Sangraha
• 微调任务：Indic Instruct、Indic Align

文本分类任务数据集

• 多标签分类：Multilebel Text Classification
• 新闻标题分类：News Headline Classification
• 情感/情绪分析：BanglaBook、SentiGOLD、SentNoB、EmoNoBa、Emotion Corpus、Social Media Comments、Toxic Comments、YouTube Comments、Facebook Comments、Restaurant Reviews、E-Commerce Sentiment、EBLICT
• 其他分类：Complain Classification、Sarcasm Detection (BanglaSarc)、Book Genre Classification、Movie Genre Classification、Scientific Topic Classification、Song Lyrics Classification、Fake News Detection、Spam SMS Detection

命名实体识别（NER）任务数据集

• 词性标注：Bangla Pos Tagging
• 命名实体识别：B-NER（最大孟加拉语命名实体识别数据集）、Bangla Complex Named Entity Recognition Dataset、Naamapadam、Math Entity Recognition Dataset、Bangla Person Name Extraction Dataset、Amazon Massive Dataset

翻译任务数据集

• 平行语料库：Bangla Open Subtitle Parallel Corpus
• 英语-孟加拉语：Samanantar、Bilingual Sentence Pairs、Bharat Parallel Corpus Collection (BPCC)

对话数据集

• 日常对话：Daily Dialogue

文本摘要数据集

• 单文档摘要：BenSum
• 多文档摘要：BUSUM-BNLP Dataset
• 新闻摘要：Bangla News Summarization
• 句子级摘要：Indic Sentence Summarization

问答数据集

• 阅读理解：Bangla Q/A (SQuAD 2.0 翻译)、Bangla Short Question Answer Dataset、Long Question Answer Dataset、BanglaRQA
• 问句生成：Indic Q/A

词形还原数据集

• 孟加拉语词形还原：Bangla Lemmatization

身份偏见评估数据集

• 偏见评估：BIBED (Bengali Identity Bias Evaluation Dataset)

孟加拉语语音识别（ASR）数据集

• Open SLR、Bangla Speech Recognition OOD Dataset、Benglai Regional Dialect Dataset
• Shrutilipi、Kathbath、Kathbath Hard
• FLEURS、IndicTTS、ULCA
• MADASR、BhasaAnuvaad、Lahaja、Vistaar

孟加拉语语音合成（TTS）数据集

• Open SLR Dataset、Rasa
• Indic Voices、BhasaAnuvaad

孟加拉语光学字符识别（OCR）数据集

• 手写字符：Ekush (Bangla Handwritten Characters)、Bongabdo (Bangla Handwritten script Dataset)
• 文本检测与识别：PDF Text Detection、Bangla Handwritten Grapheme Classification
• 文档级手写识别：BN-HTRd (Benchmark Dataset for Document Level Offline Bangla Handwritten Text Recognition)
• 车牌识别：Bangla synthetic license plates

搜集汇总

数据集介绍

构建方式

在人工智能与深度学习蓬勃发展的浪潮中，孟加拉语的应用却因数据集的匮乏与陈旧而步履蹒跚。为弥合这一鸿沟，本数据集资源库应运而生，它系统性地汇聚了涵盖自然语言处理、自动语音识别、文本转语音、光学字符识别等多元领域的孟加拉语数据集。构建方式上，该资源库并非从零创建，而是通过广泛搜集与精心筛选，将散落于Kaggle、Hugging Face、GitHub等平台上的高质量孟加拉语数据集进行整合与归类。每个数据集均附有来源链接与相关论文索引，确保研究者能够便捷地追溯原始数据与学术依据。

特点

该资源库的特色在于其无与伦比的全面性与结构化。它横跨任务无关的通用语料库、文本分类、命名实体识别、翻译、对话、摘要、问答、词形还原、身份偏见评估等九大NLP子领域，同时囊括ASR、TTS与OCR等语音与视觉任务。每个类别下均细分为多个子任务，如情感分析中便收录了从书籍评论到社交媒体评论的十余个数据集。这种层级分明的组织方式，使研究者能够按图索骥，快速定位所需资源。此外，资源库还特别收录了面向大语言模型的预训练与微调数据集，彰显其前瞻性。

使用方法

使用该资源库时，研究者可直接通过其提供的链接跳转至各数据集的原始发布平台进行下载。例如，对于NLP任务，可访问Kaggle或Hugging Face获取CSV或Parquet格式的数据；对于ASR任务，则可通过Open SLR或Hugging Face下载音频与转录文本。每个数据集通常附有相关的学术论文或技术报告，建议在使用前仔细阅读以理解其标注规范与适用场景。该资源库本身并非一个可直接加载的数据集，而是一个导航索引，使用者需根据自身任务需求，从索引中选择合适的数据集并遵循其各自的使用协议进行科研或商业应用。

背景与挑战

背景概述

在人工智能与深度学习蓬勃发展的浪潮中，孟加拉语作为全球使用人数众多的语言之一，其自然语言处理及语音视觉相关研究却长期受限于数据资源的匮乏。现有孟加拉语数据集多存在规模小、时效性差、分布零散等问题，严重制约了该语言在情感分析、命名实体识别、语音识别等前沿领域的突破。为了应对这一困境，由研究者Sabbir Hossain Ujjal于2024年主导创建的Awesome Bangla Datasets仓库应运而生。该仓库系统性地整合了涵盖自然语言处理、自动语音识别、文本转语音、光学字符识别等多个任务的孟加拉语数据集，旨在为研究者提供一站式的数据资源导航，弥合孟加拉语与主流语言在人工智能研究中的鸿沟，对推动低资源语言的技术进步具有里程碑式的意义。

当前挑战

该数据集集合所面临的核心挑战源于孟加拉语作为低资源语言的固有困境。在领域问题层面，现有数据集多聚焦于情感分类、命名实体识别等基础任务，但面向复杂语义理解、多模态交互、领域特定问答等高级应用的数据仍然稀缺，难以支撑前沿模型的训练需求。在构建过程中，数据来源的多样性导致了质量参差不齐，部分数据集由机器翻译或网络爬取得到，存在噪声大、标注不一致等问题。此外，多数数据集规模有限且缺乏统一的标注规范，不同来源的数据难以兼容整合，增加了模型泛化的难度。方言和口音的多样性在语音数据中尤为突出，而手写文本的变体与歧义性也给光学字符识别带来了额外挑战，这些因素共同阻碍了孟加拉语人工智能生态的成熟发展。

常用场景

经典使用场景

在孟加拉语自然语言处理领域，该数据集集合被广泛用于文本分类任务，尤其是情感分析与情绪识别。研究人员利用其中包含的SentNoB、EmoNoBa等标注语料，对社交媒体评论、产品评价和新闻标题进行极性判别与细粒度情绪挖掘。这些数据集覆盖了噪声文本、多领域评论及不平衡标签分布等复杂场景，为构建鲁棒的孟加拉语情感分类模型提供了基准测试平台。此外，BanglaBook等书籍评论数据集则聚焦于特定领域的情感分析，推动了跨领域迁移学习方法的探索。这些经典应用不仅验证了深度学习模型在低资源语言上的泛化能力，也为后续的对话系统与舆情监控研究奠定了数据基础。

实际应用

在实际应用中，该数据集集合为孟加拉语的智能语音助手、自动字幕生成和文档数字化系统提供了关键支撑。例如，ASR数据集（如Shrutilipi和Kathbath）被用于开发孟加拉语语音识别引擎，支持方言变体与噪声环境下的高精度转录，广泛应用于呼叫中心质检与教育领域的语音转写。TTS数据集（如Indic Voices）则赋能了孟加拉语语音合成系统，在无障碍阅读和车载导航中实现自然流畅的语音输出。此外，OCR数据集（如Ekush和BN-HTRd）被部署于历史文献数字化和手写表单识别场景，显著提升了孟加拉语印刷体与手写文本的自动化处理效率，降低了人工录入成本。

衍生相关工作

该数据集集合催生了一系列具有影响力的衍生工作。基于Samanantar和Indic Corp等语料，研究者提出了针对孟加拉语的预训练语言模型BanglaBERT和mT5变体，在多项NLU基准上取得了领先性能。SentNoB与EmoNoBa数据集被广泛用于开发多任务情感-情绪联合学习框架，相关论文发表于EMNLP和AACL等顶级会议。在语音领域，Shrutilipi数据集衍生出Vistaar基准，用于评估跨方言语音识别系统的鲁棒性。此外，BIBED偏见评估数据集推动了公平性研究在孟加拉语NLP中的兴起，促使后续工作关注模型在性别、宗教等身份属性上的偏差检测与缓解策略。这些衍生工作不仅深化了孟加拉语技术栈的生态建设，也为其他低资源语言的研究范式提供了可复用的方法论参考。