laion/eurospeech-enhanced-dacvae
收藏资源简介：
EuroSpeech是一个欧洲议会演讲数据集，已转换为DAC VAE潜在表示。数据集采用WebDataset tar分片格式存储，每个样本包含原始音频(FLAC格式)、DAC VAE潜在表示(numpy float32格式)和元数据(JSON格式)。支持多种语言，包括英语、德语等，并提供了详细的元数据字段和加载方法。DAC VAE潜在表示的形状为[T_latent, 128]，潜在帧率为25帧/秒。数据集主要用于自动语音识别和文本转语音任务。
EuroSpeech is a dataset of European parliamentary speeches converted to DAC VAE latents. The dataset is stored in WebDataset tar shards, with each sample containing original audio (FLAC format), DAC VAE latent representation (numpy float32 format), and metadata (JSON format). It supports multiple languages including English, German, etc., and provides detailed metadata fields and loading methods. The DAC VAE latent representation has a shape of [T_latent, 128] with a latent rate of 25 frames/second. The dataset is primarily used for automatic speech recognition and text-to-speech tasks.
数据集概述：EuroSpeech 议会语音 DAC VAE 潜在表示
| 属性 | 内容 |
|---|---|
| 数据集名称 | EuroSpeech Enhanced DACVAE |
| 维护组织 | LAION e.V. |
| 许可证 | CC-BY-4.0 |
| 数据集规模 | 1M - 10M 样本 |
| 总文件大小 | 4.31 TB |
| 格式 | WebDataset（tar 分片） |
| 最近下载量 | 18,068 次/月 |
任务与模态
- 任务：自动语音识别（ASR）、文本转语音（TTS）
- 模态：音频、文本
数据来源
原始数据源自 disco-eth/EuroSpeech 数据集，为议会语音数据。
数据格式
每个 tar 分片（约 2GB）包含以下三个文件：
| 文件 | 格式 | 说明 |
|---|---|---|
{sample_key}.audio.flac |
FLAC | 原始音频（原始采样率） |
{sample_key}.dacvae.npy |
NumPy float32 | DAC VAE 潜在表示，形状 [T_latent, 128] |
{sample_key}.metadata.json |
JSON | 元数据及 duration_seconds、chars_per_second |
DAC VAE 潜在表示详情
- 模型：mrfakename/dacvae-watermarked（Facebook DACVAE）
- 输入采样率：48,000 Hz
- 潜在形状：
[T_latent, 128]，其中T_latent = ceil(audio_samples / 1920) - 潜在帧率：25 帧/秒
- 存储格式：NumPy float32
分片命名规则
{LANG}-{split}-{index:05d}.tar
例如：EN-train-00000.tar、DE-train-00001.tar
数据集状态
- 已上传分片数量：2026
各语言样本数量
| 语言 | 样本数 |
|---|---|
| BG_train（保加利亚语） | 106,464 |
| DA_train（丹麦语） | 1,901,464 |
| DE_train（德语） | 624,064 |
| EN_train（英语） | 1,772,626 |
| FI_train（芬兰语） | 67,424 |
| HR_train（克罗地亚语） | 1,920,560 |
| IT_train（意大利语） | 658,660 |
| LT_train（立陶宛语） | 631,549 |
| LV_train（拉脱维亚语） | 198,016 |
| MT_train（马耳他语） | 305,571 |
| NO_train（挪威语） | 1,813,323 |
| PT_train（葡萄牙语） | 780,468 |
| SR_train（塞尔维亚语） | 289,064 |
| SV_train（瑞典语） | 3,008 |
元数据字段
每个 metadata.json 文件包含：
dataset：来源数据集名称language：语言代码split：数据划分（train/dev/test）sample_id：原始样本标识符text：转录文本duration_seconds：音频时长（秒）chars_per_second：每秒音频对应的文本字符数original_sample_rate：原始音频采样率dacvae_sample_rate：DAC VAE 输入采样率（48000）latent_frames：潜在时间帧数- 所有原始数据集专属字段
