Codec-SUPERB/speech_commands_extract_unit

Name: Codec-SUPERB/speech_commands_extract_unit
Creator: Codec-SUPERB
Published: 2024-01-21 05:39:19
License: 暂无描述

Hugging Face2024-01-21 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/Codec-SUPERB/speech_commands_extract_unit

下载链接

链接失效反馈

官方服务：

资源简介：

--- configs: - config_name: default data_files: - split: academicodec_hifi_16k_320d path: data/academicodec_hifi_16k_320d-* - split: academicodec_hifi_16k_320d_large_uni path: data/academicodec_hifi_16k_320d_large_uni-* - split: academicodec_hifi_24k_320d path: data/academicodec_hifi_24k_320d-* - split: audiodec_24k_320d path: data/audiodec_24k_320d-* - split: dac_16k path: data/dac_16k-* - split: dac_24k path: data/dac_24k-* - split: dac_44k path: data/dac_44k-* - split: encodec_24k path: data/encodec_24k-* - split: funcodec_en_libritts_16k_gr1nq32ds320 path: data/funcodec_en_libritts_16k_gr1nq32ds320-* - split: funcodec_en_libritts_16k_gr8nq32ds320 path: data/funcodec_en_libritts_16k_gr8nq32ds320-* - split: funcodec_en_libritts_16k_nq32ds320 path: data/funcodec_en_libritts_16k_nq32ds320-* - split: funcodec_en_libritts_16k_nq32ds640 path: data/funcodec_en_libritts_16k_nq32ds640-* - split: funcodec_zh_en_16k_nq32ds320 path: data/funcodec_zh_en_16k_nq32ds320-* - split: funcodec_zh_en_16k_nq32ds640 path: data/funcodec_zh_en_16k_nq32ds640-* - split: speech_tokenizer_16k path: data/speech_tokenizer_16k-* dataset_info: features: - name: id dtype: string - name: unit sequence: sequence: int64 splits: - name: academicodec_hifi_16k_320d num_bytes: 105709368 num_examples: 64727 - name: academicodec_hifi_16k_320d_large_uni num_bytes: 105709368 num_examples: 64727 - name: academicodec_hifi_24k_320d num_bytes: 157026808 num_examples: 64727 - name: audiodec_24k_320d num_bytes: 332800616 num_examples: 64727 - name: dac_16k num_bytes: 315363192 num_examples: 64727 - name: dac_24k num_bytes: 1245776776 num_examples: 64727 - name: dac_44k num_bytes: 406863564 num_examples: 64727 - name: encodec_24k num_bytes: 80640400 num_examples: 64727 - name: funcodec_en_libritts_16k_gr1nq32ds320 num_bytes: 846964616 num_examples: 64727 - name: funcodec_en_libritts_16k_gr8nq32ds320 num_bytes: 846964616 num_examples: 64727 - name: funcodec_en_libritts_16k_nq32ds320 num_bytes: 846962568 num_examples: 64727 - name: funcodec_en_libritts_16k_nq32ds640 num_bytes: 436754312 num_examples: 64727 - name: funcodec_zh_en_16k_nq32ds320 num_bytes: 846962568 num_examples: 64727 - name: funcodec_zh_en_16k_nq32ds640 num_bytes: 436754312 num_examples: 64727 - name: speech_tokenizer_16k num_bytes: 213377832 num_examples: 64727 download_size: 1145201889 dataset_size: 7224630916 --- # Dataset Card for "speech_commands_extract_unit" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

--- 配置项： - 配置名称：default 数据文件： - 数据集划分：academicodec_hifi_16k_320d，路径：data/academicodec_hifi_16k_320d-* - 数据集划分：academicodec_hifi_16k_320d_large_uni，路径：data/academicodec_hifi_16k_320d_large_uni-* - 数据集划分：academicodec_hifi_24k_320d，路径：data/academicodec_hifi_24k_320d-* - 数据集划分：audiodec_24k_320d，路径：data/audiodec_24k_320d-* - 数据集划分：dac_16k，路径：data/dac_16k-* - 数据集划分：dac_24k，路径：data/dac_24k-* - 数据集划分：dac_44k，路径：data/dac_44k-* - 数据集划分：encodec_24k，路径：data/encodec_24k-* - 数据集划分：funcodec_en_libritts_16k_gr1nq32ds320，路径：data/funcodec_en_libritts_16k_gr1nq32ds320-* - 数据集划分：funcodec_en_libritts_16k_gr8nq32ds320，路径：data/funcodec_en_libritts_16k_gr8nq32ds320-* - 数据集划分：funcodec_en_libritts_16k_nq32ds320，路径：data/funcodec_en_libritts_16k_nq32ds320-* - 数据集划分：funcodec_en_libritts_16k_nq32ds640，路径：data/funcodec_en_libritts_16k_nq32ds640-* - 数据集划分：funcodec_zh_en_16k_nq32ds320，路径：data/funcodec_zh_en_16k_nq32ds320-* - 数据集划分：funcodec_zh_en_16k_nq32ds640，路径：data/funcodec_zh_en_16k_nq32ds640-* - 数据集划分：speech_tokenizer_16k，路径：data/speech_tokenizer_16k-* 数据集信息：特征字段： - 字段名：id，数据类型：字符串 - 字段名：unit，结构为序列的序列，元素类型为64位整型数据集划分： - 划分名：academicodec_hifi_16k_320d，总字节数：105709368，样本数：64727 - 划分名：academicodec_hifi_16k_320d_large_uni，总字节数：105709368，样本数：64727 - 划分名：academicodec_hifi_24k_320d，总字节数：157026808，样本数：64727 - 划分名：audiodec_24k_320d，总字节数：332800616，样本数：64727 - 划分名：dac_16k，总字节数：315363192，样本数：64727 - 划分名：dac_24k，总字节数：1245776776，样本数：64727 - 划分名：dac_44k，总字节数：406863564，样本数：64727 - 划分名：encodec_24k，总字节数：80640400，样本数：64727 - 划分名：funcodec_en_libritts_16k_gr1nq32ds320，总字节数：846964616，样本数：64727 - 划分名：funcodec_en_libritts_16k_gr8nq32ds320，总字节数：846964616，样本数：64727 - 划分名：funcodec_en_libritts_16k_nq32ds320，总字节数：846962568，样本数：64727 - 划分名：funcodec_en_libritts_16k_nq32ds640，总字节数：436754312，样本数：64727 - 划分名：funcodec_zh_en_16k_nq32ds320，总字节数：846962568，样本数：64727 - 划分名：funcodec_zh_en_16k_nq32ds640，总字节数：436754312，样本数：64727 - 划分名：speech_tokenizer_16k，总字节数：213377832，样本数：64727 下载总大小：1145201889 数据集总存储大小：7224630916 --- # 「speech_commands_extract_unit」数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

提供机构：

Codec-SUPERB

原始信息汇总

数据集概述

配置信息

默认配置：
- 数据文件路径：
  - academicodec_hifi_16k_320d：data/academicodec_hifi_16k_320d-*
  - academicodec_hifi_16k_320d_large_uni：data/academicodec_hifi_16k_320d_large_uni-*
  - academicodec_hifi_24k_320d：data/academicodec_hifi_24k_320d-*
  - audiodec_24k_320d：data/audiodec_24k_320d-*
  - dac_16k：data/dac_16k-*
  - dac_24k：data/dac_24k-*
  - dac_44k：data/dac_44k-*
  - encodec_24k：data/encodec_24k-*
  - funcodec_en_libritts_16k_gr1nq32ds320：data/funcodec_en_libritts_16k_gr1nq32ds320-*
  - funcodec_en_libritts_16k_gr8nq32ds320：data/funcodec_en_libritts_16k_gr8nq32ds320-*
  - funcodec_en_libritts_16k_nq32ds320：data/funcodec_en_libritts_16k_nq32ds320-*
  - funcodec_en_libritts_16k_nq32ds640：data/funcodec_en_libritts_16k_nq32ds640-*
  - funcodec_zh_en_16k_nq32ds320：data/funcodec_zh_en_16k_nq32ds320-*
  - funcodec_zh_en_16k_nq32ds640：data/funcodec_zh_en_16k_nq32ds640-*
  - speech_tokenizer_16k：data/speech_tokenizer_16k-*

数据集信息

特征：
- id：字符串类型
- unit：整数序列类型
分割：
- academicodec_hifi_16k_320d：
  - 字节数：105709368
  - 样本数：64727
- academicodec_hifi_16k_320d_large_uni：
  - 字节数：105709368
  - 样本数：64727
- academicodec_hifi_24k_320d：
  - 字节数：157026808
  - 样本数：64727
- audiodec_24k_320d：
  - 字节数：332800616
  - 样本数：64727
- dac_16k：
  - 字节数：315363192
  - 样本数：64727
- dac_24k：
  - 字节数：1245776776
  - 样本数：64727
- dac_44k：
  - 字节数：406863564
  - 样本数：64727
- encodec_24k：
  - 字节数：80640400
  - 样本数：64727
- funcodec_en_libritts_16k_gr1nq32ds320：
  - 字节数：846964616
  - 样本数：64727
- funcodec_en_libritts_16k_gr8nq32ds320：
  - 字节数：846964616
  - 样本数：64727
- funcodec_en_libritts_16k_nq32ds320：
  - 字节数：846962568
  - 样本数：64727
- funcodec_en_libritts_16k_nq32ds640：
  - 字节数：436754312
  - 样本数：64727
- funcodec_zh_en_16k_nq32ds320：
  - 字节数：846962568
  - 样本数：64727
- funcodec_zh_en_16k_nq32ds640：
  - 字节数：436754312
  - 样本数：64727
- speech_tokenizer_16k：
  - 字节数：213377832
  - 样本数：64727
数据集大小：
- 下载大小：1145201889字节
- 数据集大小：7224630916字节

搜集汇总

数据集介绍

构建方式

在语音编码与离散单元表征研究的前沿，Codec-SUPERB/speech_commands_extract_unit数据集应运而生，旨在为神经音频编解码器（neural audio codec）的评估与对比提供标准化基准。该数据集基于经典的Speech Commands语音指令语料库，通过多种主流编解码器模型对原始音频进行编码与解码，进而提取出离散化的声学单元序列。构建过程涵盖了academicodec、audiodec、dac、encodec、funcodec以及speech_tokenizer等十余种编解码器配置，每种配置均针对不同的采样率（16kHz至44kHz）与码率进行设计。所有单元序列均以统一的int64格式存储，并附带唯一的音频标识符，从而构建出一个多维度、可复现的单元表征资源库。

特点

该数据集的核心特点在于其多编解码器并行覆盖的架构，共包含15个独立子集，每个子集均对应一种特定的编解码器配置，且每个子集均包含64,727条样本，确保了跨模型比较的统计一致性。子集名称明确标注了编解码器类型、采样率与码率参数，例如academicodec_hifi_16k_320d与funcodec_zh_en_16k_nq32ds320，极大便利了研究者按需选取。数据量方面，各子集大小从约80MB至1.2GB不等，总规模超过7GB，展现了丰富的单元多样性。此外，所有单元序列均源自同一批原始语音指令，为探究不同编解码器在离散化过程中的信息保留能力提供了理想的实验平台。

使用方法

使用该数据集时，研究者可通过HuggingFace Datasets库直接加载，利用config_name参数指定所需的编解码器子集，例如`load_dataset('Codec-SUPERB/speech_commands_extract_unit', 'dac_24k')`即可获取DAC模型在24kHz采样率下的单元序列。每条数据包含'id'字段（对应原始音频文件标识）与'unit'字段（二维int64序列，外层为时间帧，内层为码本索引）。适用于下游任务如语音单元建模、编解码器性能对比、离散表征的语音识别或合成等。加载后可直接转换为PyTorch或TensorFlow张量进行深度学习实验，无需额外预处理。

背景与挑战

背景概述

在语音编码与生成领域，神经编解码器（neural codec）与语音分词器（speech tokenizer）的迅猛发展，为高效语音表示与重构开辟了新路径。然而，不同编解码器在采样率、量化维度及离散单元映射上的异构性，使得跨模型性能评估与标准化基准构建成为亟待突破的瓶颈。Codec-SUPERB团队于2024年前后推出Speech Commands Extract Unit数据集，旨在系统性地解构并对比主流编解码器（如EnCodec、DAC、Funcodec等）在语音指令任务中的离散单元提取能力。该数据集基于经典的Speech Commands语料库，通过统一处理流程生成涵盖16kHz至44kHz采样率、多粒度量化配置的标准化单元序列，为语音编解码领域的可复现研究提供了关键基础设施，显著推动了单元级语音处理范式的规范化进程。

当前挑战

该数据集面临的核心挑战体现在两个维度。其一，语音编解码器在离散单元提取过程中，需应对不同采样率与量化策略带来的信息损失问题——例如，低比特率编解码器（如16kHz配置）在保留语音语义完整性的同时，难以兼顾声学细节的保真度，导致单元序列在重构时出现音色失真或噪声残留。其二，构建过程中需处理多源编解码器输出格式的异构性：各模型产生的离散单元维度（如320d与640d）及序列长度差异显著，如何设计统一的归一化与对齐策略以兼容AcademiCodec、DAC等15种编码范式，同时确保64727条样本的单元映射一致性，成为工程实现中的重大技术障碍。

常用场景

经典使用场景

在语音编码与生成领域，Codec-SUPERB/speech_commands_extract_unit 数据集为评估和比较不同神经音频编解码器（如 EnCodec、DAC、AudioDec 等）的离散化单元提取能力提供了标准化的基准。该数据集基于经典的 Speech Commands 语料库，通过多种编解码器将语音信号映射为离散单元序列，从而支持对语音离散表征质量进行系统性的对比分析。研究者利用此数据集可深入探究不同采样率、码本大小及量化策略对语音单元保真度的影响，是语音离散表征研究中的关键评测平台。

衍生相关工作

该数据集衍生了一系列重要的学术工作，推动了语音离散表征领域的深入发展。基于此基准，研究者提出了诸如残差向量量化（RVQ）优化策略、分层单元建模方法以及语音-文本联合离散化框架等创新方案。相关工作在语音单元的可解释性分析、跨说话人单元一致性保持以及高压缩比下的语音质量恢复等方向取得了显著进展。这些工作不仅验证了数据集的价值，还进一步拓展了离散语音单元在语音理解与生成融合任务中的应用边界。

数据集最近研究