cmu-mlsp/librispeech960-encodec1024_asr

---
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
- split: validation_other
path: data/validation_other-*
- split: test_other
path: data/test_other-*
dataset_info:
features:
- name: text
dtype: string
- name: audio_codes
sequence: string
- name: id
dtype: string
- name: speaker_id
dtype: int64
- name: chapter_id
dtype: int64
splits:
- name: train
num_bytes: 1859401929
num_examples: 281241
- name: validation
num_bytes: 10515210
num_examples: 2703
- name: test
num_bytes: 10516648
num_examples: 2620
- name: validation_other
num_bytes: 9974741
num_examples: 2864
- name: test_other
num_bytes: 10389123
num_examples: 2939
download_size: 0
dataset_size: 1900797651
---
# Dataset Card for "librispeech960-encodec1024_asr"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

configs:
- config_name: default
data_files:
- split: 训练集（train）
path: data/train-*
- split: 验证集（validation）
path: data/validation-*
- split: 测试集（test）
path: data/test-*
- split: 额外验证集（validation_other）
path: data/validation_other-*
- split: 额外测试集（test_other）
path: data/test_other-*
dataset_info:
features:
- name: 文本（text）
dtype: 字符串
- name: 音频编码（audio_codes）
dtype: 字符串序列
- name: 编号（id）
dtype: 字符串
- name: 说话人ID（speaker_id）
dtype: 64位整型（int64）
- name: 章节ID（chapter_id）
dtype: 64位整型（int64）
splits:
- name: 训练集（train）
num_bytes: 1859401929
num_examples: 281241
- name: 验证集（validation）
num_bytes: 10515210
num_examples: 2703
- name: 测试集（test）
num_bytes: 10516648
num_examples: 2620
- name: 额外验证集（validation_other）
num_bytes: 9974741
num_examples: 2864
- name: 额外测试集（test_other）
num_bytes: 10389123
num_examples: 2939
download_size: 0
dataset_size: 1900797651
---
# "librispeech960-encodec1024_asr" 数据集卡片
[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

librispeech960-encodec1024_asr

数据配置

• 默认配置
  • 训练集（train）：路径为 data/train-*
  • 验证集（validation）：路径为 data/validation-*
  • 测试集（test）：路径为 data/test-*
  • 其他验证集（validation_other）：路径为 data/validation_other-*
  • 其他测试集（test_other）：路径为 data/test_other-*

数据特征

• 文本（text）：字符串类型
• 音频编码（audio_codes）：字符串序列
• 标识符（id）：字符串类型
• 说话者标识符（speaker_id）：64位整数类型
• 章节标识符（chapter_id）：64位整数类型

数据分割

• 训练集（train）
  • 字节数：1859401929
  • 样本数：281241
• 验证集（validation）
  • 字节数：10515210
  • 样本数：2703
• 测试集（test）
  • 字节数：10516648
  • 样本数：2620
• 其他验证集（validation_other）
  • 字节数：9974741
  • 样本数：2864
• 其他测试集（test_other）
  • 字节数：10389123
  • 样本数：2939

数据集大小

• 下载大小：0
• 数据集大小：1900797651

搜集汇总

数据集介绍

构建方式

在语音识别领域，大规模标注数据集的构建是推动模型性能提升的关键。该数据集基于经典的LibriSpeech语料库，通过引入EnCodec编解码器进行音频编码处理，构建了面向自动语音识别任务的专用数据集。具体而言，数据集选取了LibriSpeech中约960小时的英文语音数据，利用EnCodec模型将原始波形音频转换为1024个离散编码序列，形成'audio_codes'特征字段。同时保留了原始文本转录、说话人ID、章节ID等元信息，最终以分片形式存储，涵盖train、validation、test、validation_other、test_other五个子集，共计约29.2万个样本。

特点

该数据集最显著的特点在于其音频表示形式的创新性。传统ASR数据集通常直接存储波形或频谱特征，而本数据集采用EnCodec1024离散编码，将连续语音信号压缩为语义丰富的离散令牌序列，大幅降低了数据存储与传输开销。此外，数据集继承了LibriSpeech的多说话人、多章节结构，包含清晰与带噪两种测试条件（如'other'子集），便于评估模型在复杂声学环境下的鲁棒性。样本规模达29万余条，覆盖广泛的口音与录音场景，为端到端语音识别模型提供了高质量的预训练与微调资源。

使用方法

使用时，用户可通过HuggingFace Datasets库直接加载该数据集，指定配置名称'default'及所需子集（如'train'、'test'）。每条数据包含'text'字段（文本转录）、'audio_codes'字段（离散编码序列）、'id'、'speaker_id'及'chapter_id'。对于语音识别任务，可将'audio_codes'作为模型输入，结合解码器映射回文本。数据集支持流式加载与分片读取，适配大规模训练场景。研究者亦可基于'speaker_id'进行说话人自适应实验，或利用'chapter_id'分析跨章节的声学一致性。

背景与挑战

背景概述

语音识别作为人机交互的核心技术之一，长期面临着在复杂声学环境下提升识别精度的挑战。LibriSpeech数据集自2015年由卡内基梅隆大学等机构发布以来，已成为评估自动语音识别（ASR）系统性能的基准，其包含约960小时的英文有声书朗读语音，覆盖多种口音与录音条件。cmu-mlsp/librispeech960-encodec1024_asr数据集在此基础上进行创新性改造，由卡内基梅隆大学机器学习与语音处理实验室于近期构建，旨在探索离散化音频表示在ASR任务中的应用潜力。该数据集将原始波形通过EnCodec编码器压缩为1024维的离散码序列，为研究基于离散单元的端到端语音识别提供了标准化资源，其设计思路与神经音频编解码技术的兴起紧密相连，对推动低比特率语音处理与多模态学习具有重要参考价值。

当前挑战

该数据集所解决的领域核心挑战在于如何将连续语音信号高效转化为离散表示，同时保持ASR任务所需的语义完整性。传统语音识别依赖连续特征（如FBank或MFCC），而离散化过程不可避免引入信息损失，尤其是在噪声环境或非标准口音下，码本量化误差可能加剧识别难度。构建过程中，研究人员需平衡编码码率与重建质量，确保离散码序列能忠实保留发音细节与韵律信息。此外，数据集的划分继承了LibriSpeech的‘clean’与‘other’子集，但离散化后的特征分布差异要求ASR模型具备更强的泛化能力，以应对训练数据与测试数据间潜在的域偏移。这些挑战共同指向一个关键问题：离散音频表示能否在压缩效率与识别精度之间达成最优解。

常用场景

经典使用场景

LibriSpeech960-EnCodec1024_ASR数据集将经典LibriSpeech语音语料库与EnCodec神经音频编解码器深度融合，为自动语音识别领域开辟了全新的研究范式。其核心创新在于将原始音频信号压缩为离散化的1024维声学码本序列，既保留了语音的语义与声学特征，又显著降低了数据维度与存储开销。该数据集最经典的使用场景在于训练端到端的离散语音识别模型，研究者可直接利用音频码本序列替代传统连续声学特征（如梅尔频谱或滤波器组），探索基于Transformer或卷积架构的码本级语音识别框架。此外，该数据集还支持多任务联合学习，例如同时进行说话人识别与语音内容转录，为统一语音理解模型的设计提供了标准化基准。

衍生相关工作

该数据集催生了一系列具有里程碑意义的学术工作，其中最具代表性的是基于码本预测的语音识别范式，如VQ-Wav2Vec与HuBERT的离散化变体。研究者借鉴该数据集的编码策略，进一步提出了分层码本机制与残差量化方法，实现了从粗粒度到细粒度的语音特征渐进式建模。此外，该数据集直接推动了'语音离散表示预训练+下游任务微调'的通用框架发展，相关成果如SpeechGPT与AudioLM等大型模型均采用类似的声学码本作为输入单元。在评估层面，该数据集衍生了多个标准化评测协议，例如基于码本序列的字符错误率（CER）计算方式，以及针对离散表示稀疏性的注意力可视化分析工具。这些衍生工作不仅拓展了离散语音处理的技术边界，更将LibriSpeech960-EnCodec1024_ASR确立为连接传统语音识别与新兴神经编解码研究的桥梁性数据集。

数据集最近研究

最新研究方向

在语音识别与神经编解码技术深度融合的前沿浪潮中，cmu-mlsp/librispeech960-encodec1024_asr数据集应运而生，代表了对传统LibriSpeech基准的革新性重塑。该数据集将大规模960小时语音通过EnCodec模型压缩为1024维离散编码序列，直接服务于端到端离散语音识别系统的训练与评估。当前研究热点聚焦于利用此类离散化表征探索语音与文本的统一多模态建模，尤其是在大规模自监督预训练框架下，离散编码能有效降低连续声学特征的计算冗余，并支持更灵活的序列到序列生成。该数据集的发布不仅推动了低比特率语音表示在识别任务中的性能边界，也为语音压缩联合识别、跨模态检索等新兴方向提供了标准化评测平台，对构建更高效、更鲁棒的语音智能系统具有里程碑式的意义。