Hypa-LibreSpeech

Hypa-LibreSpeech是一个由Hypa AI整理的大规模、多语言语音数据集，旨在支持跨8种欧洲语言的自动语音识别和文本到语音系统的训练与评估。该数据集包含20万条高质量的音频-文本对，源自LibriVox项目的开放领域有声读物录音，并基于openslr/librispeech_asr（LibriSpeech）和facebook/multilingual_librispeech（MLS）两个开源语料库构建与重新打包。数据集提供了统一的、可流式传输的格式，专为现代多语言语音模型（如Whisper）训练而设计。数据内容方面，每个样本包含音频波形（16kHz采样率，提供FLAC和OPUS两种格式）、对应的文本转录、源语言（src_lang）、目标语言（tgt_lang，转录任务下与源语言相同）、音频持续时间（duration_seconds，范围1.3-22.5秒）、任务模式（mode，当前均为‘transcribe’）和说话者标签（speaker，当前统一标记为‘random’）。文本转录长度在4到565个字符之间。数据集覆盖英语（en）、法语（fr）、德语（de）、荷兰语（nl）、西班牙语（es）、意大利语（it）、葡萄牙语（pt）和波兰语（pl）共8种语言，每种语言约包含2.5万个样本，总计音频时长约600小时。数据以单个训练集（train）形式发布，用户可根据需要自行划分验证集和测试集。该数据集适用于多种下游任务，主要包括自动语音识别、文本到语音合成、语音翻译研究、跨语言迁移学习、语音表示学习以及语言识别与分类。通过提供大规模、对齐的多语言语音文本数据，Hypa-LibreSpeech旨在促进能够跨语言和说话者群体有效泛化的包容性语音技术的研究与开发。Hypa-LibreSpeech is a large-scale, multilingual speech dataset curated by Hypa AI, designed to support the training and evaluation of automatic speech recognition (ASR) and text-to-speech (TTS) systems across 8 European languages. This dataset contains 200,000 high-quality audio-text pairs, sourced from open-domain audiobook recordings of the LibriVox project, and is constructed and repackaged based on two open-source corpora: openslr/librispeech_asr (LibriSpeech) and facebook/multilingual_librispeech (MLS). The dataset provides a unified, streamable format, specifically tailored for the training of modern multilingual speech models such as Whisper. In terms of data content, each sample includes an audio waveform (16kHz sampling rate, available in both FLAC and OPUS formats), the corresponding text transcription, source language (src_lang), target language (tgt_lang, which is identical to the source language for transcription tasks), audio duration in seconds (ranging from 1.3 to 22.5 seconds), task mode (mode, currently all set to 'transcribe'), and speaker label (speaker, currently uniformly marked as 'random'). The length of each text transcription ranges from 4 to 565 characters. The dataset covers 8 languages: English (en), French (fr), German (de), Dutch (nl), Spanish (es), Italian (it), Portuguese (pt), and Polish (pl). Each language contains approximately 25,000 samples, with a total audio duration of around 600 hours. The dataset is released as a single training split (train), and users can partition it into validation and test sets according to their own needs. This dataset is applicable to a variety of downstream tasks, mainly including automatic speech recognition, text-to-speech synthesis, speech translation research, cross-lingual transfer learning, speech representation learning, and language identification and classification. By providing large-scale, aligned multilingual speech-text paired data, Hypa-LibreSpeech aims to promote the research and development of inclusive speech technologies that can effectively generalize across languages and speaker groups.

原始信息汇总

数据集概述：Hypa-LibreSpeech

Hypa-LibreSpeech 是由 Hypa AI 整理的大规模、多语种语音数据集，专为训练和评估自动语音识别（ASR）和文本转语音（TTS）系统而设计，覆盖 8 种欧洲语言。数据集包含 200,000 个高质量的音频-文本对，来源于 LibriVox 项目的公共领域有声书录音。

该数据集建立在两个基础开源语料库之上：

• openslr/librispeech_asr：原始的英文 LibriSpeech 语料库。
• facebook/multilingual_librispeech：多语种 LibriSpeech（MLS）语料库。

数据集详情

语言覆盖

数据集涵盖 8 种欧洲语言，均使用拉丁字母：

语言	ISO 代码
英语	en
法语	fr
德语	de
荷兰语	nl
西班牙语	es
意大利语	it
葡萄牙语	pt
波兰语	pl

数据结构

数据字段

每个样本包含以下字段：

字段	类型	描述
audio	Audio	音频对象，包含波形数组、路径和采样率（16,000 Hz）
text	string	音频剪辑的文本转录
src_lang	string	音频源语言（如 "dutch"、"english"）
tgt_lang	string	转录的目标语言（与 src_lang 相同）
duration_seconds	float	音频剪辑时长（秒）
mode	string	任务模式，当前均为 "transcribe"
speaker	string	说话人标签，当前均为 "random"

数据划分

• train：200,000 个样本（唯一划分，用户需自行创建验证集和测试集）

统计指标

指标	数值
总样本数	200,000
语言数	8
最短时长	1.3 秒
最长时长	22.5 秒
预估总音频时长	~600 小时
音频格式	FLAC、OPUS
采样率	16,000 Hz
文本最短长度	4 个字符
文本最长长度	565 个字符
说话人来源	混合（LibriVox 志愿者读者）
任务模式	transcribe

各语言大致样本分布

语言	大致样本数	来源
英语	~25,000	LibriSpeech + MLS
法语	~25,000	MLS
德语	~25,000	MLS
荷兰语	~25,000	MLS
西班牙语	~25,000	MLS
意大利语	~25,000	MLS
葡萄牙语	~25,000	MLS
波兰语	~25,000	MLS

支持的任务

任务	描述
自动语音识别（ASR）	将音频转录为源语言文本
文本转语音（TTS）	使用文本-音频对进行语音合成训练
音频分类	从音频中进行语言识别

数据集的创建

数据来源

• LibriSpeech ASR 语料库：约 1,000 小时的 16kHz 英文朗读语音。
• 多语种 LibriSpeech（MLS）：涵盖 8 种语言的大规模多语种语料库。
• LibriVox：所有音频最终来源于 LibriVox 项目，遵循 CC0 1.0 公共领域许可证。

处理流程

1. 从 MLS 和 LibriSpeech 语料库中摄取音频和对齐文本。
2. 验证片段边界，丢弃对齐有问题的片段。
3. 时长过滤：移除短于 1.3 秒或长于 22.5 秒的片段。
4. 文本规范化：小写化并去除章节标题、注释等非语音标记。
5. 音频重新编码：统一为 16 kHz 单声道 FLAC 和 OPUS 格式。
6. 语言标注。
7. 统一数据结构并导出为 Parquet 格式。

使用注意事项

偏见

• 说话人主要来自 LibriVox 志愿者读者，可能未均匀覆盖所有地区口音和年龄组。
• 所有文本来源于文学作品，与日常对话或技术领域语音差异较大。
• 上游 MLS 语料库各语言训练时长存在显著不平衡。

局限性

• 仅包含单一 train 划分，用户需自行创建验证集和测试集。
• speaker 字段均为 "random"，不含说话人级区分信息。
• 音频质量因志愿者录制条件而异，可能包含背景噪音、回声等。
• 不含词级或音素级时间戳。

许可证

数据集遵循 Creative Commons Attribution 4.0 International (CC BY 4.0) 许可证。底层音频录音来源于 LibriVox，遵循 CC0 1.0 Universal 公共领域许可证。

搜集汇总

数据集介绍

构建方式

Hypa-LibreSpeech数据集由Hypa AI团队基于LibriSpeech和Multilingual LibriSpeech（MLS）两大开源语料库精心构建而成。原始音频源自LibriVox公共领域有声书项目，经严格流水线处理：首先从MLS和LibriSpeech中摄取音频与对齐文本，随后验证分割边界并剔除对齐有误的片段；接着执行时长过滤，移除短于1.3秒或长于22.5秒的音频；再进行文本小写化与轻量归一化，去除章节标题与标注符号；最后将音频重编码为16kHz单声道FLAC（无损）和OPUS（压缩）两种格式，并统一标注源语言与目标语言字段。全部数据被整合为一致的Parquet格式，支持高效流式加载。

特点

该数据集包含20万条高质量音频-文本对，覆盖英语、法语、德语、荷兰语、西班牙语、意大利语、葡萄牙语和波兰语共8种欧洲语言，总时长约600小时。每条样本包含音频波形、文本转录、源语言、目标语言、时长秒数、任务模式和说话人标签，音频采样率为16kHz。数据特点在于统一了多语言架构，经质量过滤确保转录对齐稳定，时长分布介于1.3至22.5秒之间，文本长度从4到565字符不等，兼顾短语句与长段落。说话人来自LibriVox多元志愿者群体，体现了丰富的口音与朗读风格，但未提供细粒度说话人身份信息。

使用方法

用户可通过Hugging Face Datasets库便捷加载数据集，使用`load_dataset('hypaai/Hypa-LibreSpeech')`即可获取完整训练集。支持按语言过滤，例如`dataset.filter(lambda x: x['src_lang'] == 'french')`提取法语子集。数据集可直接用于微调Whisper等自动语音识别模型，通过WhisperProcessor处理音频并生成转录。对于大规模训练，启用流式模式（`streaming=True`）可避免完整下载，逐批次迭代样本。此外，数据兼容PyTorch DataLoader，支持批量训练。用户需自行划分验证与测试集，或利用上游MLS语料库的标准化分割进行评测。

背景与挑战

背景概述

Hypa-LibreSpeech是一个由Hypa AI团队于2025年创建的大规模多语种语音数据集，旨在服务于自动语音识别（ASR）和文本到语音（TTS）系统的训练与评估。该数据集基于LibriSpeech（Panayotov et al., 2015）和Multilingual LibriSpeech（Pratap et al., 2020）两大开源语料库，从LibriVox公共领域有声书中精心筛选并重组了20万条高质量音频-文本对，覆盖英语、法语、德语、荷兰语、西班牙语、意大利语、葡萄牙语和波兰语共8种欧洲语言。通过统一的数据模式、严格的时长过滤（1.3至22.5秒）以及OPUS流式编码优化，Hypa-LibreSpeech为现代多语种语音模型的微调与评估提供了可直接使用的标准化资源，有力推动了多语种语音技术研究的普及与民主化。

当前挑战

Hypa-LibreSpeech所应对的领域挑战在于，现有基础语料库如MLS和LibriSpeech虽体量庞大，但其非标准化结构难以直接适配Whisper等指令跟随式语音模型的当代训练流程，数据冗余和不一致的语言分布也限制了跨语种泛化能力。在构建过程中，团队面临多重困难：首先，需从来源语料中剔除对齐错误的片段，确保转录精准性；其次，需对8种语言进行均衡采样以缓解上游库中英语（约4.4万小时）与波兰语（约104小时）的极端时长不均衡；最后，音频重编码与元数据标准化需在保持高保真度的同时支持高效流式加载，平衡了数据质量与存储效率之间的矛盾。

常用场景

经典使用场景

Hypa-LibreSpeech作为大规模多语种语音数据集，其最经典的使用场景当属多语种自动语音识别（ASR）模型的训练与评估。凭借涵盖八种欧洲语言的二十万条高质量音频-文本配对数据，该数据集为研究者提供了统一的训练范式和流式加载接口，尤其适合对Whisper、Wav2Vec2等先进模型进行微调。均匀的语言分布和精心筛选的音频时长范围，使得模型能够在多语言环境下保持稳定的转录性能，有效规避了传统数据集中因语言资源不均导致的训练偏差。

解决学术问题

在多语种语音研究领域，该数据集着重解决了跨语言知识迁移与低资源语言建模的学术难题。通过对LibriSpeech和MLS语料库进行精细重构与质量过滤，Hypa-LibreSpeech为研究者提供了均衡的语言样本分布，使得学术探索能够聚焦于语言间的表征泛化能力这一核心问题。它有效降低了多语种模型训练中常见的数据组织复杂性，为验证跨语言迁移学习理论、分析多语种声学模型的行为机理提供了可靠的数据基础，促进了多语种语音技术向更普惠的方向发展。

衍生相关工作

该数据集衍生出的相关工作主要集中在多语种语音前端模型的改进与跨语种任务的拓展。研究者基于Hypa-LibreSpeech探索了多语种语言识别任务，开发了能够准确辨别欧洲语言的分类器。此外，该数据集为语音翻译流水线的构建提供了标准化的数据基础，催生了一系列关于源语言到目标语言语音映射的研究工作。在表征学习层面，它被用于预训练多种语音基础模型，并成为衡量模型在多语种环境下泛化能力的基准数据，推动了如MMS等跨语言语音理解模型的性能提升。