distil-whisper/librispeech_asr-token-ids

Distil Whisper: LibriSpeech ASR数据集是LibriSpeech ASR数据集的一个变体，增加了伪标签的Whisper转录内容。这些伪标签是通过使用Whisper large-v2模型对输入音频数据进行贪婪采样生成的。该数据集可用于自动语音识别任务，主要语言为英语。

This is a variant of the LibriSpeech ASR dataset, augmented to return the pseudo-labelled Whisper Transcriptions alongside the original dataset elements. The pseudo-labelled transcriptions were generated by labelling the input audio data with the Whisper large-v2 model with greedy sampling. The dataset supports automatic speech recognition tasks and includes English language data. Users can download and preprocess the dataset via the 🤗 Datasets package, supporting both disk loading and streaming loading methods. The dataset is licensed under cc-by-4.0.

原始信息汇总

Distil Whisper: LibriSpeech ASR

数据集概述

• 名称: Distil Whisper: LibriSpeech ASR
• 类型: 自动语音识别数据集
• 语言: 英语
• 许可证: cc-by-4.0

数据集描述

该数据集是LibriSpeech ASR数据集的变体，增加了伪标签的Whisper转录本。伪标签转录本是通过使用Whisper large-v2模型以贪婪采样方式生成的。

使用方法

独立使用

1. 安装最新版本的🤗 Datasets包： bash pip install --upgrade pip pip install --upgrade datasets[audio]

2. 使用load_dataset函数下载和预处理数据集： python from datasets import load_dataset

   dataset = load_dataset("distil-whisper/librispeech_asr", "all") sample = dataset["validation.clean"][0]

3. 也可以使用流模式直接从Hub加载数据集： python from datasets import load_dataset

   dataset = load_dataset("distil-whisper/librispeech_asr", "all", streaming=True) sample = next(iter(dataset["validation.clean"]))

Distil Whisper 使用

如需使用此数据集复现Distil Whisper训练过程，请参考Distil Whisper仓库中的说明。