Hien141625/Dataset_STT

Dolly-Audio是一个大规模、高质量的越南语语音语料库，由Dolly AI Team创建。灵感来自世界上第一个克隆哺乳动物多莉，该项目旨在推动越南语语音合成、语音识别和语音建模的研究。该版本提供近1,000小时的专业清理音频，涵盖152名来自不同越南地区和说话风格的说话者。文本转录跨越多个领域，以确保语言多样性和模型鲁棒性。关键特征包括：高质量越南语语音约1,000小时、152名多地区说话者带不同口音、清理无噪声的音频无背景音乐、句子级别边界修剪以自然韵律、丰富的转录领域（如新闻、娱乐、教育、对话等）、通过手动采样估计词错误率接近零（≈0%）。数据集适用于多说话者文本到语音、自动语音识别、语音克隆和说话者适应、韵律建模、语言和语音学研究。使用限制：仅限非商业研究用途，必须遵守CC-BY-NC-SA-4.0许可。

Dolly-Audio is a large-scale, high-quality Vietnamese speech corpus created by the Dolly AI Team. Inspired by Dolly, the world’s first cloned mammal, the project aims to advance research in Vietnamese speech synthesis, speech recognition, and voice modeling. This release provides nearly 1,000 hours of professionally cleaned audio, featuring 152 speakers across different Vietnamese regions and speaking styles. Text transcripts span a wide variety of domains to ensure linguistic diversity and model robustness. Key features include: ~1,000 hours of high-quality Vietnamese speech, 152 multi-region speakers with diverse accents, cleaned, noise-free audio with no background music, sentence-level boundary trimming for natural prosody, rich transcript domains (news, entertainment, education, conversational, etc.), estimated near-zero WER (≈ 0%) from manual sampling. The dataset is suitable for multi-speaker text-to-speech, automatic speech recognition, voice cloning and speaker adaptation, prosody modeling, and linguistic and phonetic research. Usage restrictions: non-commercial research use only, must comply with CC-BY-NC-SA-4.0.

搜集汇总

数据集介绍

构建方式

Dataset_STT是一个大规模、高品质的越南语语音数据集，由Dolly AI团队精心构建。该数据集包含近1000小时的专业清洗音频，覆盖152位来自越南不同地区的发音人，确保口音多样性。文本转录广泛涵盖新闻、娱乐、教育及日常对话等领域，以提升语言多样性与模型鲁棒性。数据经过句级边界修剪，确保自然韵律，并通过人工采样验证，词错误率趋近于零。数据集包含音频文件名、文本、发音人ID及原始音频字段，以流式格式存储，便于高效加载。

特点

Dataset_STT的核心特点在于其大规模、高质量与多说话人覆盖。近1000小时的音频经过严格降噪处理，无背景音乐干扰，确保纯净的语音信号。152位发音人分布于越南不同地域，口音多样，有助于训练具有地域适应性的语音模型。文本转录来自多领域，涵盖新闻、娱乐、教育及日常对话，促进模型泛化能力。句级边界修剪技术保证了自然韵律的保留，而接近零的词错误率则验证了数据的精准性。该数据集特别适用于文本转语音、自动语音识别、语音克隆及韵律建模等研究任务。

使用方法

使用Dataset_STT时，用户需通过Hugging Face Datasets库加载默认配置下的训练集。数据集的音频字段以解码关闭形式存储，用户可根据需求自行解码，以适配不同框架。该数据集仅限非商业研究用途，遵循CC-BY-NC-SA-4.0许可证。用于文本转语音任务时，可直接利用音频与文本对进行声学模型训练；用于自动语音识别时，需配合语音识别模型进行端到端训练。访问需提供机构邮箱以获取权限，使用前建议抽样验证数据质量。引用数据集时，需注明创建者信息并遵循许可证要求。

背景与挑战

背景概述

在多模态人工智能技术迅猛发展的浪潮中，高质量语音语料库的构建成为驱动语音合成与识别技术突破的关键基石。由Dolly AI团队于2025年创建的Dolly-Audio（即Dataset_STT）数据集，凝聚了Nguyen Vinh Huy与Nguyen Dinh Thuan等研究人员的心血，旨在专门攻克越南语语音处理领域的核心研究问题。该数据集包含近1000小时的专业降噪音频，覆盖152位来自不同越南地域与口音风格的发声者，转录文本横跨新闻、娱乐、教育及日常对话等多个领域，保证了语料的语言多样性与模型鲁棒性。作为越南语多说话人高质量语音语料库的里程碑式成果，Dolly-Audio不仅为文本转语音、自动语音识别、声音克隆及韵律建模等研究提供了丰富资源，更因其近乎零词错误率的卓越清洗质量，对推动该非通用语言在语音技术领域的进展产生了深远影响。

当前挑战

Dolly-Audio数据集主要解决的是越南语语音处理领域面临的语料匮乏与质量参差不齐的挑战。尽管该数据集通过多说话人、多领域覆盖和严格清洗实现了高质量，但其构建过程依然遭遇多重困难：首先，采集近千小时真实、多样且背景噪声极低的越南语语音数据极为耗时，必须协调152位不同地域说话人确保口音表征的全面性；其次，文本标注需跨越多个专业领域并实现句级边界精准切分，以保持自然韵律，这要求转录团队具备极高的语言学素养；此外，在音频降噪处理与零词错误率目标之间取得平衡，对算法与人工审核流程构成了严峻考验。这些挑战共同刻画了在构建大规模非通用语种语音数据集时，数据多样性、音频纯净度与标注精确度三者难以兼得的典型困境。

常用场景

经典使用场景

在语音合成与识别研究的前沿领域，Dataset_STT（即Dolly-Audio）作为越南语多说话人高质量语音语料库，其经典使用场景聚焦于多说话人文本到语音合成（TTS）任务。凭借近1000小时的专业降噪音频和152位涵盖不同地域口音及说话风格的发音人数据，该数据集为构建具有自然韵律和丰富音色多样性的TTS模型提供了理想训练资源。研究者可基于此探索说话人自适应、音色迁移及多风格语音生成等方向，从而推动越南语语音合成技术从单一声学模型向更具表现力和个性化的方向发展。

实际应用

在实际应用层面，该数据集所支撑的语音技术正逐步渗透至越南语人机交互的多个维度。基于其训练的TTS系统可集成至智能助手、有声书朗读以及无障碍阅读工具中，为视障人士提供自然流畅的语音服务。ASR模型则可用于实时语音转写、会议记录生成以及客户服务自动化，显著提升越南语地区的信息处理效率。此外，该数据集在语音克隆与虚拟主播开发中展现出巨大潜力，能够生成高度逼真且口音可控的合成语音，满足教育、娱乐及媒体制作等行业对个性化语音交互的迫切需求。

衍生相关工作

围绕这一高质量语料库，学术界已衍生出一系列标志性相关工作。在模型架构层面，研究者基于该数据集开发了针对越南语韵律特征的端到端TTS框架，例如融合注意力机制的Tacotron2变体以及适配低资源语言的FastSpeech改进型。在说话人建模方向，利用该数据的152位发音人信息，催生了多说话人语音嵌入网络（如Speaker-Encoder）和语音转换系统。此外，该数据集还启发了面向非商业研究的越南语语音预训练模型（如Wav2Vec 2.0微调版本），为低资源语音领域的表示学习树立了新标杆，并促进了跨语种语音迁移学习的研究浪潮。