doof-ferb/vlsp2020_vinai_100h

---
license: cc-by-4.0
task_categories:
- automatic-speech-recognition
- text-to-speech
language:
- vi
pretty_name: VLSP 2020 - VinAI - ASR challenge dataset
size_categories:
- 10K<n<100K
dataset_info:
features:
- name: audio
dtype: audio
- name: transcription
dtype: string
splits:
- name: train
num_bytes: 17159347574.893
num_examples: 56427
download_size: 11649243045
dataset_size: 17159347574.893
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

# unofficial mirror of VLSP 2020 - VinAI - ASR challenge dataset

official announcement:
- tiếng việt: https://institute.vinbigdata.org/events/vinbigdata-chia-se-100-gio-du-lieu-tieng-noi-cho-cong-dong/
- in eglish: https://institute.vinbigdata.org/en/events/vinbigdata-shares-100-hour-data-for-the-community/
- VLSP 2020 workshop: https://vlsp.org.vn/vlsp2020

official download: https://drive.google.com/file/d/1vUSxdORDxk-ePUt-bUVDahpoXiqKchMx/view?usp=sharing

contact: [e-mail]

100h, 56.4k samples, accuracy 96%

pre-process: merge all transcript text files into 1, remove token `<unk>`

need to do: check misspelling, restore foreign words phonetised to vietnamese

usage with HuggingFace:
```python
# pip install -q "datasets[audio]"
from datasets import load_dataset
from torch.utils.data import DataLoader

dataset = load_dataset("doof-ferb/vlsp2020_vinai_100h", split="train", streaming=True)
dataset.set_format(type="torch", columns=["audio", "transcription"])
dataloader = DataLoader(dataset, batch_size=4)
```

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-4.0
• 任务类别:
  • 自动语音识别
  • 文本到语音
• 语言: 越南语
• 数据集名称: VLSP 2020 - VinAI - ASR challenge dataset
• 数据集大小: 10K<n<100K

数据集特征

• 音频: 数据类型为音频
• 转录文本: 数据类型为字符串

数据集分割

• 训练集:
  • 样本数量: 56427
  • 数据大小: 17159347574.893字节

下载信息

• 下载大小: 11649243045字节
• 数据集大小: 17159347574.893字节

配置

• 默认配置:
  • 数据文件路径: data/train-*

搜集汇总

数据集介绍

构建方式

该数据集源自VLSP 2020挑战赛，由VinBigData机构慷慨贡献的100小时越南语语音数据整理而成，旨在推动自动语音识别与文本转语音技术的发展。原始数据经过系统化预处理，包括将分散的转录文本文件整合为单一文件，并剔除其中标记为<unk>的未知词汇，以提升数据质量与可用性。构建过程依托公开的GitHub代码，确保了数据处理的透明性与可复现性。最终形成了包含56,427个样本、总大小约17GB的高质量语音-文本配对数据集。

使用方法

借助HuggingFace的datasets库，研究人员可便捷地通过一行代码加载数据集，并指定流式模式以高效处理大规模数据。加载后，数据可轻松转换为PyTorch张量格式，适配DataLoader进行批量训练。该数据集直接提供训练集划分，无需额外拆分即可立即用于模型微调或评估。建议后续使用者进一步校正拼写错误，并将外来语音译为越南语的词汇还原，以持续优化数据质量，拓展模型泛化能力。

背景与挑战

背景概述

在自动语音识别（ASR）领域，高质量、大规模的数据集是推动模型性能提升的关键。越南语作为一种声调语言，其语音识别研究长期受限于数据资源的匮乏。VLSP 2020 VinAI 100小时数据集由VinAI研究机构与VLSP（越南语言与语音处理）社区于2020年联合发布，旨在填补越南语ASR领域的空白。该数据集包含约56,400个音频样本，总时长超过100小时，转录准确率高达96%，为越南语语音识别模型的训练与评估提供了坚实基础。其发布不仅促进了越南语ASR技术的快速发展，也为多语言语音研究贡献了重要资源，对东南亚语言处理领域产生了深远影响。

当前挑战

该数据集当前面临的核心挑战集中于领域问题与构建过程两个层面。在领域问题上，越南语复杂的声调系统和丰富的方言变体使得模型在识别时易产生混淆，尤其是对低频词汇和外来语音译词的鲁棒性不足。此外，数据集中存在拼写错误及外来词越南语音译的还原问题，直接影响转录质量。在构建过程中，原始音频来自多样化的录音环境，包含背景噪声和说话人差异，增加了预处理的难度。同时，数据标注依赖人工核对，错误率虽低但难以完全消除，且合并多个转录文本文件时可能引入格式不一致性，这些均对数据集的纯净度与后续应用构成挑战。

常用场景

经典使用场景

VLSP 2020 VinAI 100小时越南语语音数据集，作为自动语音识别（ASR）领域的标杆资源，其经典使用场景聚焦于端到端语音识别模型的训练与评估。该数据集包含56,427个音频-文本对，覆盖多样化的口语语境，为构建高精度越南语语音识别系统提供了坚实基础。研究者常利用其进行Whisper、Wav2Vec 2.0等预训练模型的微调，以提升模型在低资源语言上的转录准确率，报告显示基线准确率可达96%。这一场景推动了越南语ASR技术从学术实验向实用化迈进，成为跨语言迁移学习研究的关键验证平台。

解决学术问题

该数据集有效解决了越南语语音识别领域长期面临的数据稀缺问题，为学术研究提供了大规模、高质量的标准训练资源。此前，越南语ASR研究受限于小规模语料库，难以支撑深度神经网络的鲁棒训练。VLSP 2020 VinAI 100H的出现，使研究者得以系统探索端到端模型在越南语声学特征（如声调、音素变体）上的建模能力，并推动了噪声鲁棒性、口音泛化等核心问题的突破。其意义在于填补了东南亚语言ASR研究的空白，促进了多语言语音处理理论的完善，为低资源语言研究树立了可复现的基准。

实际应用

在实际应用中，该数据集驱动的语音识别模型被广泛部署于越南语智能语音助手、自动字幕生成、客服语音转写等场景。例如，基于该数据训练的ASR系统可实时将越南语口语转录为文本，应用于会议记录、教育辅导和媒体内容索引，显著提升信息处理效率。此外，其高质量标注也助力了语音合成（TTS）系统的开发，通过文本到语音的逆向映射，生成自然流畅的越南语语音，服务于导航播报、有声读物等产品，降低了人工录制成本。这些应用凸显了数据集在商业化和公共事业中的社会价值。

数据集最近研究

最新研究方向

在低资源语言语音识别领域，VLSP 2020 VinAI 100小时越南语数据集正成为推动多语言自动语音识别（ASR）和文本转语音（TTS）前沿研究的关键资源。随着Whisper等大规模预训练模型的兴起，该数据集被广泛用于微调实验，探索如何在高噪声、非规范文本（如外语词汇的越南语音译）场景下提升识别精度。近期研究聚焦于结合数据增强与错误校正策略，以攻克口语化表达及拼写变体带来的挑战。该数据集的开放共享不仅填补了越南语公开语音资源的空白，更催化了东南亚语言在智能语音助手、实时翻译等热点应用中的技术突破，对促进语言多样性与AI普惠具有深远意义。