distil-whisper/librispeech_asr

这是一个基于LibriSpeech ASR数据集的变体，增加了通过Whisper模型生成的伪标签转录。伪标签转录是通过Whisper large-v2模型使用贪婪采样生成的。该数据集主要用于自动语音识别任务，语言为英语。

原始信息汇总

数据集概述

数据集名称

Distil Whisper: LibriSpeech ASR

数据集描述

这是一个LibriSpeech ASR数据集的变体，增加了伪标签的Whisper转录文本与原始数据集元素一起返回。伪标签转录是通过使用Whisper large-v2模型对输入音频数据进行贪婪采样生成的。

语言

• 英语

任务类别

• 自动语音识别

许可证

cc-by-4.0

使用方法

数据集可以通过load_dataset函数下载和预处理，也可以使用数据集的流式模式直接从Hub加载。

示例代码

python from datasets import load_dataset

下载并预处理数据集

dataset = load_dataset("distil-whisper/librispeech_asr", "all") sample = dataset["validation.clean"][0]

使用流式模式加载数据集

dataset = load_dataset("distil-whisper/librispeech_asr", "all", streaming=True) sample = next(iter(dataset["validation.clean"]))

训练指南

要使用此数据集进行Distil Whisper训练，请参考Distil Whisper仓库中的训练指南。

搜集汇总

背景与挑战

背景概述

该数据集是基于LibriSpeech ASR的英语语音识别数据集，特点是增加了Whisper large-v2模型生成的伪标签转录，主要用于自动语音识别任务。