Codec-SUPERB/librispeech_asr

--- configs: - config_name: default data_files: - split: academicodec_hifi_16k_320d path: data/academicodec_hifi_16k_320d-* - split: academicodec_hifi_16k_320d_large_uni path: data/academicodec_hifi_16k_320d_large_uni-* - split: academicodec_hifi_24k_320d path: data/academicodec_hifi_24k_320d-* - split: audiodec_24k_320d path: data/audiodec_24k_320d-* - split: dac_16k path: data/dac_16k-* - split: dac_24k path: data/dac_24k-* - split: dac_44k path: data/dac_44k-* - split: encodec_24k path: data/encodec_24k-* - split: funcodec_en_libritts_16k_gr1nq32ds320 path: data/funcodec_en_libritts_16k_gr1nq32ds320-* - split: funcodec_en_libritts_16k_gr8nq32ds320 path: data/funcodec_en_libritts_16k_gr8nq32ds320-* - split: funcodec_en_libritts_16k_nq32ds320 path: data/funcodec_en_libritts_16k_nq32ds320-* - split: funcodec_en_libritts_16k_nq32ds640 path: data/funcodec_en_libritts_16k_nq32ds640-* - split: funcodec_zh_en_16k_nq32ds320 path: data/funcodec_zh_en_16k_nq32ds320-* - split: funcodec_zh_en_16k_nq32ds640 path: data/funcodec_zh_en_16k_nq32ds640-* - split: speech_tokenizer_16k path: data/speech_tokenizer_16k-* dataset_info: features: - name: text dtype: string - name: id dtype: string - name: unit sequence: sequence: int64 splits: - name: academicodec_hifi_16k_320d num_bytes: 585566013 num_examples: 28539 - name: academicodec_hifi_16k_320d_large_uni num_bytes: 585566013 num_examples: 28539 - name: academicodec_hifi_24k_320d num_bytes: 875207613 num_examples: 28539 - name: audiodec_24k_320d num_bytes: 1861784589 num_examples: 28539 - name: dac_16k num_bytes: 3591614845 num_examples: 28539 - name: dac_24k num_bytes: 10062423533 num_examples: 28539 - name: dac_44k num_bytes: 2982824761 num_examples: 28539 - name: encodec_24k num_bytes: 441025925 num_examples: 28539 - name: funcodec_en_libritts_16k_gr1nq32ds320 num_bytes: 4649508077 num_examples: 28539 - name: funcodec_en_libritts_16k_gr8nq32ds320 num_bytes: 4649508077 num_examples: 28539 - name: funcodec_en_libritts_16k_nq32ds320 num_bytes: 4647663597 num_examples: 28539 - name: funcodec_en_libritts_16k_nq32ds640 num_bytes: 2330511341 num_examples: 28539 - name: funcodec_zh_en_16k_nq32ds320 num_bytes: 4647663597 num_examples: 28539 - name: funcodec_zh_en_16k_nq32ds640 num_bytes: 4647663597 num_examples: 28539 - name: speech_tokenizer_16k num_bytes: 1166450829 num_examples: 28539 download_size: 7544903765 dataset_size: 47724982407 --- # Dataset Card for "librispeech_asr" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)配置项： - 配置名称：default 数据文件： - 数据集划分：academicodec_hifi_16k_320d，数据路径：data/academicodec_hifi_16k_320d-* - 数据集划分：academicodec_hifi_16k_320d_large_uni，数据路径：data/academicodec_hifi_16k_320d_large_uni-* - 数据集划分：academicodec_hifi_24k_320d，数据路径：data/academicodec_hifi_24k_320d-* - 数据集划分：audiodec_24k_320d，数据路径：data/audiodec_24k_320d-* - 数据集划分：dac_16k，数据路径：data/dac_16k-* - 数据集划分：dac_24k，数据路径：data/dac_24k-* - 数据集划分：dac_44k，数据路径：data/dac_44k-* - 数据集划分：encodec_24k，数据路径：data/encodec_24k-* - 数据集划分：funcodec_en_libritts_16k_gr1nq32ds320，数据路径：data/funcodec_en_libritts_16k_gr1nq32ds320-* - 数据集划分：funcodec_en_libritts_16k_gr8nq32ds320，数据路径：data/funcodec_en_libritts_16k_gr8nq32ds320-* - 数据集划分：funcodec_en_libritts_16k_nq32ds320，数据路径：data/funcodec_en_libritts_16k_nq32ds320-* - 数据集划分：funcodec_en_libritts_16k_nq32ds640，数据路径：data/funcodec_en_libritts_16k_nq32ds640-* - 数据集划分：funcodec_zh_en_16k_nq32ds320，数据路径：data/funcodec_zh_en_16k_nq32ds320-* - 数据集划分：funcodec_zh_en_16k_nq32ds640，数据路径：data/funcodec_zh_en_16k_nq32ds640-* - 数据集划分：speech_tokenizer_16k，数据路径：data/speech_tokenizer_16k-* 数据集信息： 特征字段： - 字段名：text，数据类型：字符串 - 字段名：id，数据类型：字符串 - 字段名：unit，数据类型：嵌套序列，内层序列元素类型为int64 数据集划分详情： - 划分名称：academicodec_hifi_16k_320d，占用字节数：585566013，样本总数：28539 - 划分名称：academicodec_hifi_16k_320d_large_uni，占用字节数：585566013，样本总数：28539 - 划分名称：academicodec_hifi_24k_320d，占用字节数：875207613，样本总数：28539 - 划分名称：audiodec_24k_320d，占用字节数：1861784589，样本总数：28539 - 划分名称：dac_16k，占用字节数：3591614845，样本总数：28539 - 划分名称：dac_24k，占用字节数：10062423533，样本总数：28539 - 划分名称：dac_44k，占用字节数：2982824761，样本总数：28539 - 划分名称：encodec_24k，占用字节数：441025925，样本总数：28539 - 划分名称：funcodec_en_libritts_16k_gr1nq32ds320，占用字节数：4649508077，样本总数：28539 - 划分名称：funcodec_en_libritts_16k_gr8nq32ds320，占用字节数：4649508077，样本总数：28539 - 划分名称：funcodec_en_libritts_16k_nq32ds320，占用字节数：4647663597，样本总数：28539 - 划分名称：funcodec_en_libritts_16k_nq32ds640，占用字节数：2330511341，样本总数：28539 - 划分名称：funcodec_zh_en_16k_nq32ds320，占用字节数：4647663597，样本总数：28539 - 划分名称：funcodec_zh_en_16k_nq32ds640，占用字节数：4647663597，样本总数：28539 - 划分名称：speech_tokenizer_16k，占用字节数：1166450829，样本总数：28539 下载总大小：7544903765 字节 数据集总占用大小：47724982407 字节 --- # 「librispeech_asr」数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集配置

• 默认配置
  • 包含多个数据文件，每个文件对应不同的分割和路径：
    • academicodec_hifi_16k_320d：路径为 data/academicodec_hifi_16k_320d-*
    • academicodec_hifi_16k_320d_large_uni：路径为 data/academicodec_hifi_16k_320d_large_uni-*
    • academicodec_hifi_24k_320d：路径为 data/academicodec_hifi_24k_320d-*
    • audiodec_24k_320d：路径为 data/audiodec_24k_320d-*
    • dac_16k：路径为 data/dac_16k-*
    • dac_24k：路径为 data/dac_24k-*
    • dac_44k：路径为 data/dac_44k-*
    • encodec_24k：路径为 data/encodec_24k-*
    • funcodec_en_libritts_16k_gr1nq32ds320：路径为 data/funcodec_en_libritts_16k_gr1nq32ds320-*
    • funcodec_en_libritts_16k_gr8nq32ds320：路径为 data/funcodec_en_libritts_16k_gr8nq32ds320-*
    • funcodec_en_libritts_16k_nq32ds320：路径为 data/funcodec_en_libritts_16k_nq32ds320-*
    • funcodec_en_libritts_16k_nq32ds640：路径为 data/funcodec_en_libritts_16k_nq32ds640-*
    • funcodec_zh_en_16k_nq32ds320：路径为 data/funcodec_zh_en_16k_nq32ds320-*
    • funcodec_zh_en_16k_nq32ds640：路径为 data/funcodec_zh_en_16k_nq32ds640-*
    • speech_tokenizer_16k：路径为 data/speech_tokenizer_16k-*

数据集信息

• 特征

  • text：类型为字符串
  • id：类型为字符串
  • unit：序列类型，内部为整数64位

• 分割

  • academicodec_hifi_16k_320d：字节数为 585566013，示例数为 28539
  • academicodec_hifi_16k_320d_large_uni：字节数为 585566013，示例数为 28539
  • academicodec_hifi_24k_320d：字节数为 875207613，示例数为 28539
  • audiodec_24k_320d：字节数为 1861784589，示例数为 28539
  • dac_16k：字节数为 3591614845，示例数为 28539
  • dac_24k：字节数为 10062423533，示例数为 28539
  • dac_44k：字节数为 2982824761，示例数为 28539
  • encodec_24k：字节数为 441025925，示例数为 28539
  • funcodec_en_libritts_16k_gr1nq32ds320：字节数为 4649508077，示例数为 28539
  • funcodec_en_libritts_16k_gr8nq32ds320：字节数为 4649508077，示例数为 28539
  • funcodec_en_libritts_16k_nq32ds320：字节数为 4647663597，示例数为 28539
  • funcodec_en_libritts_16k_nq32ds640：字节数为 2330511341，示例数为 28539
  • funcodec_zh_en_16k_nq32ds320：字节数为 4647663597，示例数为 28539
  • funcodec_zh_en_16k_nq32ds640：字节数为 4647663597，示例数为 28539
  • speech_tokenizer_16k：字节数为 1166450829，示例数为 28539

• 数据集大小

  • 下载大小：7544903765 字节
  • 数据集大小：47724982407 字节

搜集汇总

数据集介绍

构建方式

在语音编码与表征学习领域，Codec-SUPERB/librispeech_asr数据集以经典LibriSpeech语料库为基底，通过多种神经音频编解码器对原始语音进行离散化处理，构建了一个多维度、多粒度的语音单元资源库。具体而言，数据集涵盖了Academicodec、Audiodec、DAC、Encodec、Funcodec以及SpeechTokenizer等主流编解码器在不同采样率（16kHz、24kHz、44kHz）与量化配置下的输出，每个子集均包含28,539条语音样本，并保留了原始文本转录与唯一标识符。这种设计使得同一段语音能够以多种离散单元形式呈现，为研究者提供了统一的比较平台。

特点

该数据集的核心特色在于其系统化的多编码器覆盖与标准化的数据结构。所有子集均共享相同的文本与ID字段，但单元序列的维度与语义粒度因编解码器的设计而异，例如Funcodec提供了单残差层与多残差层（gr1 vs gr8）的对比，而DAC则覆盖了从16kHz到44kHz的宽频带范围。这种结构使得研究者能够直接评估不同编码策略对下游语音识别任务的影响，同时避免了因数据源不一致而产生的混淆变量。此外，数据集的规模一致性（每子集28,539条）确保了跨模型比较的公平性。

使用方法

在模型训练与评估中，研究者可通过HuggingFace Datasets库直接加载本数据集，并利用split参数选择特定的编解码器子集，例如'academicodec_hifi_16k_320d'或'dac_24k'。每个样本包含'text'字段用于监督学习，'unit'字段作为离散语音输入，适合用于训练基于Transformer的语音识别模型或探究离散单元的可理解性。建议将数据划分为训练、验证与测试集，并针对不同编解码器的单元长度差异进行动态批处理或填充策略调整，以优化计算效率。

背景与挑战

背景概述

在语音编码与生成式语音模型迅猛发展的当下，如何系统性地评估不同神经音频编解码器对下游语音识别任务的影响，成为学术界与工业界共同关注的焦点。Codec-SUPERB/librispeech_asr数据集应运而生，由多所研究机构于近年联合构建，旨在搭建一个标准化的评估基准。该数据集基于经典LibriSpeech语料库，但创新性地引入了包括EnCodec、DAC、Funcodec等在内的十余种主流神经编解码器处理后的语音单元序列，从而将研究问题聚焦于：不同编码方案在压缩语音信号的同时，如何保留足以支撑自动语音识别的声学与语言信息。这一数据集的发布，为探究编解码器在低比特率下的感知质量与识别性能权衡提供了前所未有的实验平台，也推动了语音编码与识别两大领域的交叉融合。

当前挑战

当前，该数据集面临的核心挑战涵盖两大层面。在领域问题层面，如何量化不同编解码器引入的失真对语音识别准确率的具体影响，仍是一个开放性问题——部分编码器虽在感知质量上表现优异，却可能因过度平滑或丢弃关键声学特征而导致识别性能显著下降，这要求研究者设计更精细的评估指标，而非仅依赖传统的词错误率。在构建过程中，数据集面临的主要困难在于：需确保所有编解码器在统一采样率、量化精度与比特率下进行公平对比，同时处理因不同编码方案导致的单元序列长度与分布差异；此外，对同一语音片段应用多种编码器，使得数据规模呈线性增长，对存储与计算资源提出了极高要求，而如何维护各split之间数据平衡、避免编码器间的统计偏差，也是构建时需谨慎应对的挑战。

常用场景

经典使用场景

在语音编码与离散表征研究的蓬勃发展中，Codec-SUPERB/librispeech_asr数据集以其丰富的多编码器音频表征资源，成为评估与比较不同语音编解码模型性能的经典基准。该数据集囊括了AcademiCodec、AudioDec、DAC、EnCodec、Funcodec以及SpeechTokenizer等多种前沿编解码器的输出特征，使研究者能够在统一的LibriSpeech语料库上，系统性地考察不同编码策略对语音信号重构质量、压缩效率及下游任务适应性的影响。其经典使用场景在于为语音离散单元分析、神经编解码器对比实验以及跨编码器泛化能力测评提供标准化的数据基础，从而推动语音编码技术的量化进步。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作，尤其在语音离散表征学习与多任务联合优化领域。基于其提供的多编码器输出，研究者相继提出了面向统一语音表征的编解码器对比框架、面向语音生成任务的高效离散单元选择策略以及跨编码器知识蒸馏方法。此外，该数据集还催生了语音编码器在自监督学习、语音翻译及情感识别等下游任务中的迁移应用探索，为构建通用语音基础模型贡献了宝贵的训练与评测资源，成为连接语音编码基础研究与实际应用的关键桥梁。

数据集最近研究

最新研究方向

当前，Codec-SUPERB/librispeech_asr数据集正成为语音编码与解码技术前沿探索的核心资源，尤其在神经音频编解码器（如EnCodec、DAC、Funcodec）与语音分词器的性能评估中扮演关键角色。随着生成式语音模型和高效语音通信系统的迅猛发展，该数据集被广泛用于对比不同采样率（16kHz至44kHz）和量化方案（如GR1、GR8、NQ32）下的编解码质量，推动低比特率高保真语音重建的研究。近期热点事件包括多模态大模型对离散语音表示的需求激增，促使研究者利用此数据集优化语音tokenizer，以提升跨语言（中英文）和跨场景的泛化能力。其深远意义在于为下一代语音交互系统提供标准化基准，加速从传统ASR向统一语音理解与生成范式的演进。