OOD-Speech

OOD-Speech是首个针对孟加拉语自动语音识别（ASR）的分布外（OOD）基准测试数据集。该数据集由Bengali.AI创建，涵盖了来自南亚22,645名母语为孟加拉语的说话者的语音数据，总训练时长为1177.94小时，测试集包含23.03小时的数据，来源于17个不同的语音源，如电视戏剧、有声书、脱口秀等。数据集通过大规模在线众包活动收集，旨在解决孟加拉语方言和韵律特征多样性带来的ASR模型鲁棒性问题。OOD-Speech不仅是最公开可用的孟加拉语语音数据集，也是首个针对孟加拉语的OOD ASR基准测试数据集，适用于评估ASR模型在不同语音分布下的性能。OOD-Speech is the first out-of-distribution (OOD) benchmark dataset for Bengali automatic speech recognition (ASR). Developed by Bengali.AI, this dataset encompasses speech data from 22,645 native Bengali speakers across South Asia, with a total training duration of 1177.94 hours and a test set of 23.03 hours. The test set is sourced from 17 distinct speech sources such as television dramas, audiobooks, talk shows and more. Collected via large-scale online crowdsourcing campaigns, this dataset aims to address the robustness challenges of ASR models stemming from the diversity of Bengali dialects and prosodic features. OOD-Speech is not only the most publicly available Bengali speech dataset, but also the first OOD ASR benchmark dataset tailored for the Bengali language, which is suitable for evaluating the performance of ASR models under different speech distributions.

搜集汇总

数据集介绍

构建方式

OOD-Speech的构建融合了两种互补的采集策略。其一为大规模在线众包，依托Mozilla Common Voice平台与自建Shobdo平台，在2022年间通过社交媒体营销活动，从南亚22,645位母语者处收集了逾1,177小时的有脚本语音，文本来源涵盖维基百科及志愿者贡献。其二为面向分布外场景的自发语音采集，从2,768个YouTube视频及政府机构等17个不同领域（如孟加拉电视剧、有声书、脱口秀、在线课堂及伊斯兰布道）中获取23.03小时音频，并由九位专家标注员进行5至30秒窗口的精细化手动转写与验证。

特点

该数据集的核心特点在于其明确的分布外基准测试属性。通过t-SNE分析Geneva声学特征，训练集（MaCro Train）与测试集（MaRo Test及OOD Test）在特征空间中形成清晰分离的簇，验证了显著的分布偏移。OOD测试集包含28.03%的训练集外词汇与5.71%的训练集外字素，其平均语速（149.39词/分钟）与样本长度（34.42词）均显著高于训练集。此外，数据涵盖28种自报方言口音，并包含背景音乐、白噪声、人群嘈杂等多样化噪声环境，全面反映了现实场景中的声学复杂性。

使用方法

OOD-Speech为孟加拉语自动语音识别（ASR）的鲁棒性评估提供了标准化基准。研究者可将模型在MaCro测试集（9.84小时，与训练集同分布）与OOD测试集（13.19小时，涵盖17个分布外领域）上的词错误率（WER）和字符错误率（CER）进行对比，以量化模型对领域偏移的敏感度。论文中已使用Google Speech API、Wav2Vec2、Conformer-CTC及Whisper等模型进行了初步基准测试，结果显示所有模型在OOD测试集上的性能均显著下降，尤其受背景音乐、高语速及领域特定词汇影响较大的领域（如卡通、广告）表现最差，这为后续研究提供了明确的改进方向。

背景与挑战

背景概述

自动语音识别（ASR）技术在人机交互、语言教育及医疗诊断等领域展现出广泛的应用前景，其性能高度依赖于训练数据的多样性与覆盖度。然而，孟加拉语作为全球使用人口众多的语言之一，其复杂的方言体系、丰富的韵律特征以及独特的形态学结构，给ASR系统的鲁棒性带来了严峻考验。在此背景下，Bengali.AI团队联合多所高校于2022年发布了OOD-Speech数据集，旨在填补孟加拉语在分布外（OOD）基准测试领域的空白。该数据集由Fazle Rabbi Rakib等人主导构建，通过大规模在线众包策略收集了1177.94小时的训练语音，涵盖来自南亚22,645名母语者的多样口音；同时，测试集包含23.03小时源自17个不同领域（如电视剧、有声书、脱口秀、在线课程及伊斯兰布道等）的自发语音数据。作为目前最大的公开孟加拉语语音数据集，OOD-Speech不仅为评估ASR模型在领域迁移下的泛化能力提供了标准化基准，也推动了低资源语言语音技术的研究进展。

当前挑战

OOD-Speech数据集所面临的挑战主要体现在两个层面。首先，在领域问题层面，孟加拉语ASR系统需应对显著的分布偏移：测试集涵盖的17个领域在语速、背景噪声、代码切换程度及词汇新颖性上差异悬殊，例如宗教布道中的特殊语调与日常口语截然不同，而俚语领域的高语速与高OOV率（28.03%）进一步加剧了模型泛化难度。其次，在构建过程中，团队克服了多重困难：众包数据需通过语音活动检测与人工校验剔除低质量录音（如背景噪声过大、语速异常等）；自发语音的采集涉及从2768个YouTube视频中手动筛选与标注，并面临非标准语言（如阿拉伯语、波斯语借词）及方言变体的转录挑战；此外，孟加拉语复杂的音素集群（如送气辅音、叠音及双元音）与正字法歧义，要求标注团队具备深厚的语言学知识，最终耗时221小时完成多轮人工重校验与修正，确保了数据的高信度与领域代表性。

常用场景

经典使用场景

在自动语音识别（ASR）领域，OOD-Speech 被广泛用作评估模型在分布外（Out-of-Distribution）场景下鲁棒性的基准数据集。其训练集通过大规模在线众包收集，涵盖多种方言和口音，而测试集则包含来自孟加拉语电视剧、有声书、脱口秀、在线课程及伊斯兰布道等17个不同领域的自然语音。这种设计使得研究者能够系统性地考察ASR模型在面对语速、背景噪声、语域切换及词汇分布偏移时的泛化能力，从而推动语音识别系统在真实世界复杂声学环境中的适应性研究。

解决学术问题

该数据集填补了孟加拉语语音识别领域缺乏分布外基准测试的空白。此前，研究者通常依赖多个独立数据集并假设其具有分布外特性，缺乏统一且规范的评估框架。OOD-Speech 通过提供明确划分的域内（MaCro）与域外（OOD）测试子集，使得学术界能够量化分析模型在领域偏移下的性能退化程度。其研究意义在于揭示了现有预训练模型（如Wav2Vec2、Whisper）在孟加拉语音素多样性、高比例未登录词及特殊韵律特征面前的脆弱性，为构建更鲁棒的跨领域语音识别系统提供了关键的理论依据与实验平台。

衍生相关工作

OOD-Speech 的发布催生了多项衍生研究。基于该数据集，研究者提出了面向孟加拉语的域自适应训练策略，如利用对抗性域分类器减轻领域偏移的影响。此外，相关工作包括构建多任务学习框架以同时优化词错误率与字符错误率，以及探索基于自监督预训练模型（如Wav2Vec2）在域外测试集上的微调方法。这些工作不仅深化了对孟加拉语音韵学与形态学复杂性的理解，还为其他低资源语言的分布外语音基准测试提供了可复现的范式，推动了跨语言语音识别领域的方法论创新。