SKNahin/open-large-bengali-asr-data

这是一个公开可用的孟加拉语自动语音识别（ASR）数据集集合，包含5000小时的音频数据。数据集包含音频文件及其转录文本，以及其他相关特征如音频时长、采样率、Wav2Vec2模型的预测结果、词错误率（WER）、每秒单词数（WPS）和音频质量标记（is_better）。数据集分为多个子集，如commonvoice、openslr、madasr等，每个子集都有详细的字节数和样本数。该数据集主要用于孟加拉语的自动语音识别任务。

原始信息汇总

数据集概述

数据集特征

• audio: 音频数据，数据类型为音频。
• transcription: 转录文本，数据类型为字符串。
• duration: 音频时长，数据类型为浮点数。
• sr: 采样率，数据类型为整数。
• wav2vec2pred: 基于Wav2Vec2模型的预测结果，数据类型为字符串。
• wer: 词错误率，数据类型为浮点数。
• wps: 每秒单词数，数据类型为浮点数。
• is_better: 质量过滤标志，数据类型为布尔值。

数据集分割

• commonvoice: 数据大小为26613419533.408字节，包含963636个样本。
• openslr: 数据大小为2246649669.92字节，包含198789个样本。
• madasr: 数据大小为6101023454.02字节，包含372065个样本。
• shrutilipi: 数据大小为5017828548.87字节，包含246370个样本。
• flerus: 数据大小为120214199.914字节，包含3006个样本。
• kathbath: 数据大小为92451768.598字节，包含4589个样本。
• indictts: 数据大小为227151543.152字节，包含12752个样本。
• ucla: 数据大小为20343224982.168字节，包含1921116个样本。
• gali: 数据大小为345715480字节，包含10000个样本。

数据集大小

• 下载大小: 58948504311字节。
• 数据集大小: 61107679180.05001字节。

配置

• 默认配置: 包含多个分割的数据文件路径。

任务类别

• automatic-speech-recognition

语言

• bn

大小类别

• 1M<n<10M

搜集汇总

数据集介绍

构建方式

在自动语音识别（ASR）领域，孟加拉语作为一种资源相对稀缺的语言，其高质量数据集的构建尤为关键。该数据集通过整合九个公开可用的孟加拉语语音资源，包括CommonVoice、OpenSLR、MADASR、Shrutilipi、FLEURS、Kathbath、IndicTTS、UCLA以及Gali，形成了一个规模宏大的语音语料库。数据集以HuggingFace Datasets格式组织，每个子集均包含音频文件、对应文本转录、音频时长、采样率等字段，并统一划分为多个数据分片，便于高效加载与处理。总数据量超过5000小时，样本数接近400万条，覆盖了丰富的说话人、口音及录音环境，显著提升了语料的多样性与代表性。

特点

该数据集最显著的特征在于其内置的质量过滤机制。通过引入一个名为“is_better”的布尔型字段，数据集能够有效筛选出高质量语音片段。该字段基于两个核心指标计算得出：一是原始转录与孟加拉语Wav2Vec2模型预测结果之间的词错误率（WER），二是每秒词数（WPS）。这种设计使得研究者能够根据任务需求，灵活选择使用全部数据或仅保留优质子集，从而在训练大规模ASR模型时兼顾数据量与准确性。此外，数据集中还包含了Wav2Vec2预测文本和WER等辅助信息，为后续分析或半监督学习提供了便利。

使用方法

使用该数据集时，研究者可通过HuggingFace Datasets库直接加载，并利用split参数指定所需的子数据集（如commonvoice、openslr等）。每个样本包含audio、transcription、duration、sr等关键字段，可快速适配常见的ASR训练流程。对于追求高精度的实验，建议利用“is_better”字段过滤出优质样本；若需探索数据分布或进行鲁棒性分析，则可使用完整数据集。数据加载后，可结合PyTorch或TensorFlow等框架进行模型训练与评估，其标准化的格式大幅降低了预处理成本，使研究者能更专注于核心算法的优化与创新。

背景与挑战

背景概述

孟加拉语作为全球使用人口超过2.3亿的语言，在自动语音识别（ASR）领域长期面临数据资源匮乏的困境。由SK Nahin等人于2023年构建的Open Large Bengali ASR Data数据集，整合了CommonVoice、OpenSLR、MadASR、Shrutilipi等九个公开语料库，形成总计约5000小时、涵盖近400万条语音样本的大规模资源。该数据集的核心研究问题在于通过统一格式和自动质量过滤机制，为低资源语言的端到端ASR模型提供可靠训练基础。其引入的基于Wav2Vec2预测与词错误率（WER）的筛选策略，显著提升了数据纯净度，对推动孟加拉语语音技术研究具有里程碑意义。

当前挑战

构建过程中面临多重挑战：首先，不同来源语料库的采样率、背景噪声及标注一致性差异极大，需设计标准化处理流程；其次，自动过滤机制依赖单一Wav2Vec2模型的预测结果，可能引入模型偏见，导致部分口音或方言样本被误判为低质量；此外，数据集虽整合了多个来源，但部分子集（如FLEURS、Kathbath）样本量极小，存在类别不平衡问题。在领域应用层面，当前ASR系统对孟加拉语中大量同音异形词、复合动词及韵律变化仍缺乏鲁棒性，亟需更精细的标注信息（如音素对齐、情感标签）来提升识别精度。

常用场景

经典使用场景

该数据集汇聚了来自多个公开语料库的孟加拉语语音数据，总时长超过5000小时，涵盖CommonVoice、OpenSLR、MADASR、Shrutilipi、FLEURS等9个来源，形成了迄今为止规模最大的孟加拉语开放语音识别基准。其经典使用场景在于为自动语音识别（ASR）系统的训练与评估提供大规模、多源、多风格的语音-文本配对数据。研究者可基于其内置的'is_better'质量过滤字段，筛选出高信噪比、低词错误率的优质样本，从而构建鲁棒性更强的端到端声学模型。这一设计尤其适用于低资源语言场景下的预训练与微调范式，成为推动孟加拉语语音技术发展的基石性资源。

衍生相关工作

该数据集的发布催生了一系列具有影响力的后续工作。一方面，研究者基于其质量过滤机制提出了改进的语音数据清洗流水线，如结合置信度校准与主动学习的样本选择策略；另一方面，以该数据集为基准，涌现了大量针对孟加拉语的预训练语音模型，包括基于Wav2Vec2、HuBERT以及Whisper的微调变体。此外，部分工作进一步拓展了其应用边界，例如将其与文本到语音（TTS）系统结合，构建语音-文本双向生成框架，或通过多任务学习同时优化声学建模与语言建模。这些衍生研究不仅验证了该数据集的学术价值，也为其在更广泛的南亚语言族中的迁移应用奠定了方法论基础。

数据集最近研究

最新研究方向

该数据集聚焦于孟加拉语自动语音识别（ASR）领域的前沿研究，整合了来自CommonVoice、OpenSLR、MAdASR等九个公开语料库的约5000小时音频数据，并创新性地引入基于Wav2Vec2模型的词错误率（WER）与语速（WPS）过滤机制，构建了高质量标注子集。这一方向紧密关联低资源语言语音技术的突破性进展，尤其在南亚多语言服务、智能语音助手及语音无障碍工具等热点场景中，为孟加拉语ASR模型训练提供了大规模、多源异构且经过质量筛选的基准数据，显著推动了该语言在语音识别准确性、跨领域泛化能力及实际应用部署方面的研究进程。