Codec-SUPERB/noisy_vctk_16k_extract_unit

--- configs: - config_name: default data_files: - split: academicodec_hifi_16k_320d path: data/academicodec_hifi_16k_320d-* - split: academicodec_hifi_16k_320d_large_uni path: data/academicodec_hifi_16k_320d_large_uni-* - split: academicodec_hifi_24k_320d path: data/academicodec_hifi_24k_320d-* - split: audiodec_24k_320d path: data/audiodec_24k_320d-* - split: dac_16k path: data/dac_16k-* - split: dac_24k path: data/dac_24k-* - split: dac_44k path: data/dac_44k-* - split: encodec_24k path: data/encodec_24k-* - split: funcodec_en_libritts_16k_gr1nq32ds320 path: data/funcodec_en_libritts_16k_gr1nq32ds320-* - split: funcodec_en_libritts_16k_gr8nq32ds320 path: data/funcodec_en_libritts_16k_gr8nq32ds320-* - split: funcodec_en_libritts_16k_nq32ds320 path: data/funcodec_en_libritts_16k_nq32ds320-* - split: funcodec_en_libritts_16k_nq32ds640 path: data/funcodec_en_libritts_16k_nq32ds640-* - split: funcodec_zh_en_16k_nq32ds320 path: data/funcodec_zh_en_16k_nq32ds320-* - split: funcodec_zh_en_16k_nq32ds640 path: data/funcodec_zh_en_16k_nq32ds640-* - split: speech_tokenizer_16k path: data/speech_tokenizer_16k-* dataset_info: features: - name: id dtype: string - name: unit sequence: sequence: int64 splits: - name: academicodec_hifi_16k_320d num_bytes: 116057288 num_examples: 24792 - name: academicodec_hifi_16k_320d_large_uni num_bytes: 116057288 num_examples: 24792 - name: academicodec_hifi_24k_320d num_bytes: 173451464 num_examples: 24792 - name: audiodec_24k_320d num_bytes: 370177480 num_examples: 24792 - name: dac_16k num_bytes: 743941448 num_examples: 24792 - name: dac_24k num_bytes: 2140233288 num_examples: 24792 - name: dac_44k num_bytes: 641562920 num_examples: 24792 - name: encodec_24k num_bytes: 87719016 num_examples: 24792 - name: funcodec_en_libritts_16k_gr1nq32ds320 num_bytes: 926382152 num_examples: 24792 - name: funcodec_en_libritts_16k_gr8nq32ds320 num_bytes: 926382152 num_examples: 24792 - name: funcodec_en_libritts_16k_nq32ds320 num_bytes: 925795400 num_examples: 24792 - name: funcodec_en_libritts_16k_nq32ds640 num_bytes: 466669128 num_examples: 24792 - name: funcodec_zh_en_16k_nq32ds320 num_bytes: 925795400 num_examples: 24792 - name: funcodec_zh_en_16k_nq32ds640 num_bytes: 466669128 num_examples: 24792 - name: speech_tokenizer_16k num_bytes: 232351304 num_examples: 24792 download_size: 1435458632 dataset_size: 9259244856 --- # Dataset Card for "noisy_vctk_16k_extract_unit" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)--- 配置项： - 配置名称：default 数据文件： - 数据拆分：academicodec_hifi_16k_320d，文件路径：data/academicodec_hifi_16k_320d-* - 数据拆分：academicodec_hifi_16k_320d_large_uni，文件路径：data/academicodec_hifi_16k_320d_large_uni-* - 数据拆分：academicodec_hifi_24k_320d，文件路径：data/academicodec_hifi_24k_320d-* - 数据拆分：audiodec_24k_320d，文件路径：data/audiodec_24k_320d-* - 数据拆分：dac_16k，文件路径：data/dac_16k-* - 数据拆分：dac_24k，文件路径：data/dac_24k-* - 数据拆分：dac_44k，文件路径：data/dac_44k-* - 数据拆分：encodec_24k，文件路径：data/encodec_24k-* - 数据拆分：funcodec_en_libritts_16k_gr1nq32ds320，文件路径：data/funcodec_en_libritts_16k_gr1nq32ds320-* - 数据拆分：funcodec_en_libritts_16k_gr8nq32ds320，文件路径：data/funcodec_en_libritts_16k_gr8nq32ds320-* - 数据拆分：funcodec_en_libritts_16k_nq32ds320，文件路径：data/funcodec_en_libritts_16k_nq32ds320-* - 数据拆分：funcodec_en_libritts_16k_nq32ds640，文件路径：data/funcodec_en_libritts_16k_nq32ds640-* - 数据拆分：funcodec_zh_en_16k_nq32ds320，文件路径：data/funcodec_zh_en_16k_nq32ds320-* - 数据拆分：funcodec_zh_en_16k_nq32ds640，文件路径：data/funcodec_zh_en_16k_nq32ds640-* - 数据拆分：speech_tokenizer_16k，文件路径：data/speech_tokenizer_16k-* 数据集信息： 数据特征： - 特征名称：id，数据类型：字符串 - 特征名称：unit，数据结构为双层序列，内层序列元素为64位整数 数据拆分详情： - 数据拆分名称：academicodec_hifi_16k_320d，总字节数：116057288，样本总数：24792 - 数据拆分名称：academicodec_hifi_16k_320d_large_uni，总字节数：116057288，样本总数：24792 - 数据拆分名称：academicodec_hifi_24k_320d，总字节数：173451464，样本总数：24792 - 数据拆分名称：audiodec_24k_320d，总字节数：370177480，样本总数：24792 - 数据拆分名称：dac_16k，总字节数：743941448，样本总数：24792 - 数据拆分名称：dac_24k，总字节数：2140233288，样本总数：24792 - 数据拆分名称：dac_44k，总字节数：641562920，样本总数：24792 - 数据拆分名称：encodec_24k，总字节数：87719016，样本总数：24792 - 数据拆分名称：funcodec_en_libritts_16k_gr1nq32ds320，总字节数：926382152，样本总数：24792 - 数据拆分名称：funcodec_en_libritts_16k_gr8nq32ds320，总字节数：926382152，样本总数：24792 - 数据拆分名称：funcodec_en_libritts_16k_nq32ds320，总字节数：925795400，样本总数：24792 - 数据拆分名称：funcodec_en_libritts_16k_nq32ds640，总字节数：466669128，样本总数：24792 - 数据拆分名称：funcodec_zh_en_16k_nq32ds320，总字节数：925795400，样本总数：24792 - 数据拆分名称：funcodec_zh_en_16k_nq32ds640，总字节数：466669128，样本总数：24792 - 数据拆分名称：speech_tokenizer_16k，总字节数：232351304，样本总数：24792 下载总大小：1435458632 数据集总存储大小：9259244856 --- # 「noisy_vctk_16k_extract_unit」数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

配置信息

• 默认配置:
  • 数据文件:
    • academicodec_hifi_16k_320d
    • academicodec_hifi_16k_320d_large_uni
    • academicodec_hifi_24k_320d
    • audiodec_24k_320d
    • dac_16k
    • dac_24k
    • dac_44k
    • encodec_24k
    • funcodec_en_libritts_16k_gr1nq32ds320
    • funcodec_en_libritts_16k_gr8nq32ds320
    • funcodec_en_libritts_16k_nq32ds320
    • funcodec_en_libritts_16k_nq32ds640
    • funcodec_zh_en_16k_nq32ds320
    • funcodec_zh_en_16k_nq32ds640
    • speech_tokenizer_16k

数据集信息

• 特征:

  • id: 字符串类型
  • unit: 序列类型，包含整数64位

• 分割:

  • academicodec_hifi_16k_320d:
    • 字节数: 116057288
    • 样本数: 24792
  • academicodec_hifi_16k_320d_large_uni:
    • 字节数: 116057288
    • 样本数: 24792
  • academicodec_hifi_24k_320d:
    • 字节数: 173451464
    • 样本数: 24792
  • audiodec_24k_320d:
    • 字节数: 370177480
    • 样本数: 24792
  • dac_16k:
    • 字节数: 743941448
    • 样本数: 24792
  • dac_24k:
    • 字节数: 2140233288
    • 样本数: 24792
  • dac_44k:
    • 字节数: 641562920
    • 样本数: 24792
  • encodec_24k:
    • 字节数: 87719016
    • 样本数: 24792
  • funcodec_en_libritts_16k_gr1nq32ds320:
    • 字节数: 926382152
    • 样本数: 24792
  • funcodec_en_libritts_16k_gr8nq32ds320:
    • 字节数: 926382152
    • 样本数: 24792
  • funcodec_en_libritts_16k_nq32ds320:
    • 字节数: 925795400
    • 样本数: 24792
  • funcodec_en_libritts_16k_nq32ds640:
    • 字节数: 466669128
    • 样本数: 24792
  • funcodec_zh_en_16k_nq32ds320:
    • 字节数: 925795400
    • 样本数: 24792
  • funcodec_zh_en_16k_nq32ds640:
    • 字节数: 466669128
    • 样本数: 24792
  • speech_tokenizer_16k:
    • 字节数: 232351304
    • 样本数: 24792

• 下载大小: 1435458632 字节

• 数据集大小: 9259244856 字节

搜集汇总

数据集介绍

构建方式

在语音编码与离散表示学习领域，高质量且多样化的单元提取数据集对于模型训练与评估至关重要。Codec-SUPERB/noisy_vctk_16k_extract_unit数据集基于VCTK语料库，通过添加噪声模拟真实场景，并利用多种先进的神经音频编解码器（如AcademiCodec、AudioDec、DAC、EnCodec、Funcodec及SpeechTokenizer）在16kHz、24kHz、44kHz等不同采样率下进行离散单元提取。每个配置对应一种编解码器及其参数设定，例如Funcodec支持不同码本数量与下采样率，从而生成结构化的单元序列。数据以Parquet格式存储，包含音频标识符与对应的离散单元张量，共计15个子集，每个子集包含约24792个样本，确保了构建的系统性与可复现性。

使用方法

使用该数据集时，可通过HuggingFace Datasets库加载，指定config_name为所需编解码器对应的子集名称，如'academicodec_hifi_16k_320d'。加载后的数据字典包含'id'字段（字符串类型，标识原始音频）与'unit'字段（嵌套的整数序列，表示离散单元索引）。研究者可直接将unit序列作为输入特征，用于训练语音编码器、单元预测模型或自监督学习任务。此外，结合不同子集，可对比分析各类编解码器的表示性能，或进行跨采样率、跨码本规模的迁移学习实验。数据格式统一，便于集成到现有深度学习流水线中。

背景与挑战

背景概述

在语音编码与生成领域，神经音频编解码模型（如EnCodec、DAC、Funcodec等）的快速发展为高效语音表示与重建开辟了新路径。Codec-SUPERB/noisy_vctk_16k_extract_unit数据集由学术界与工业界联合构建，旨在系统评估不同编解码器在噪声环境下提取离散语音单元（unit）的性能。该数据集基于VCTK语料库，通过添加多样化噪声模拟真实场景，覆盖从16kHz到44kHz的多种采样率配置，并整合了包括AcademiCodec、AudioDec、SpeechTokenizer在内的多种主流编解码器输出。其核心研究问题在于量化不同编解码器在噪声鲁棒性、压缩率与语音保真度之间的权衡，为语音通信、助听器及人机交互等应用提供基准。自发布以来，该数据集已成为评估语音离散表示质量的重要标准，推动了编解码器在复杂声学环境下的优化研究。

当前挑战

该数据集面临的首要挑战在于解决语音编解码器在噪声环境下的鲁棒性问题。不同编解码器对噪声的敏感度差异显著，导致提取的离散单元在语义保留与音质重建上表现不一，亟需建立统一评估框架以指导模型选择与改进。构建过程中，数据集的挑战集中于多源编解码器输出的一致性对齐：需确保各模型在相同噪声条件下生成可比较的单元序列，同时处理采样率、量化策略及编码维度（如320d与640d）的异构性。此外，大规模噪声场景的模拟（如不同信噪比与噪声类型）增加了数据标注与验证的复杂度，而24,792条样本的有限规模可能限制对极端噪声条件的泛化能力评估。这些困难要求数据集在标准化流程与多样性之间寻求平衡，以支撑编解码器噪声鲁棒性的深入分析。

常用场景

经典使用场景

在语音编码与生成领域，Codec-SUPERB/noisy_vctk_16k_extract_unit数据集为多款神经音频编解码器（如EnCodec、DAC、Funcodec等）提取的离散语音单元提供了统一基准。研究者可基于此数据集，系统比较不同编解码器在16kHz至44kHz采样率下的语音表征质量，尤其聚焦于噪声环境下单元提取的鲁棒性。其经典使用场景涵盖语音离散表征的跨模型评估、单元序列的语义一致性验证，以及作为下游任务（如语音合成、语音识别）的预训练特征输入，推动语音离散表示学习的标准化进程。

解决学术问题

该数据集有效解决了语音离散表征研究中缺乏标准化评测基准的学术困境。通过统一提取多种编解码器在噪声VCTK语料上的离散单元，它使得研究者能够客观对比不同模型在抗噪性、压缩率与重构保真度之间的权衡关系。这直接支撑了关于语音单元离散化如何影响语义保留与声学细节重建的实证研究，并为探索编解码器容量、采样率与单元粒度之间的相互作用提供了可复现的实验平台，从而深化了对神经音频编解码理论边界的理解。

实际应用

在实际应用中，该数据集衍生的离散语音单元可高效赋能低带宽语音通信系统、隐私保护语音处理以及轻量化语音助手等场景。例如，利用预提取的单元序列，开发者无需重新训练复杂的编解码模型，即可快速构建面向移动设备的语音压缩传输模块；同时，噪声环境下的鲁棒单元提取能力，也使得智能家居、车载语音系统在嘈杂背景中仍能保持可靠的语音交互性能，显著降低了端侧语音AI的部署门槛。

数据集最近研究

最新研究方向

在语音编解码与表示学习领域，Codec-SUPERB平台推出的noisy_vctk_16k_extract_unit数据集正成为推动离散语音单元提取研究的关键资源。该数据集整合了AcademiCodec、AudioDec、DAC、EnCodec、Funcodec及SpeechTokenizer等多种前沿编解码器在16kHz、24kHz乃至44kHz采样率下的单元表征，覆盖了从窄带到超宽带的不同分辨率设置，为评估和比较不同神经音频编解码方案在噪声环境下的鲁棒性提供了标准化基准。当前热点研究方向聚焦于利用该数据集探索离散语音单元在零样本语音转换、自监督语音预训练以及低比特率语音编码中的泛化能力，尤其是在VCTK多说话人语料基础上叠加噪声后，如何通过单元提取保持说话人身份与内容信息的分离成为关键挑战。这一数据集的发布不仅加速了语音编解码器的公平对比，更对推动通用语音表示在复杂声学场景下的实际部署具有深远意义。