Codec-SUPERB/esc50_unit

---
configs:
- config_name: default
data_files:
- split: academicodec_hifi_16k_320d
path: data/academicodec_hifi_16k_320d-*
- split: academicodec_hifi_16k_320d_large_uni
path: data/academicodec_hifi_16k_320d_large_uni-*
- split: academicodec_hifi_24k_320d
path: data/academicodec_hifi_24k_320d-*
- split: audiodec_24k_320d
path: data/audiodec_24k_320d-*
- split: dac_16k
path: data/dac_16k-*
- split: dac_24k
path: data/dac_24k-*
- split: dac_44k
path: data/dac_44k-*
- split: encodec_24k_12bps
path: data/encodec_24k_12bps-*
- split: encodec_24k_1_5bps
path: data/encodec_24k_1_5bps-*
- split: encodec_24k_24bps
path: data/encodec_24k_24bps-*
- split: encodec_24k_3bps
path: data/encodec_24k_3bps-*
- split: encodec_24k_6bps
path: data/encodec_24k_6bps-*
- split: funcodec_en_libritts_16k_gr1nq32ds320
path: data/funcodec_en_libritts_16k_gr1nq32ds320-*
- split: funcodec_en_libritts_16k_gr8nq32ds320
path: data/funcodec_en_libritts_16k_gr8nq32ds320-*
- split: funcodec_en_libritts_16k_nq32ds320
path: data/funcodec_en_libritts_16k_nq32ds320-*
- split: funcodec_en_libritts_16k_nq32ds640
path: data/funcodec_en_libritts_16k_nq32ds640-*
- split: funcodec_zh_en_16k_nq32ds320
path: data/funcodec_zh_en_16k_nq32ds320-*
- split: funcodec_zh_en_16k_nq32ds640
path: data/funcodec_zh_en_16k_nq32ds640-*
- split: speech_tokenizer_16k
path: data/speech_tokenizer_16k-*
dataset_info:
features:
- name: id
dtype: string
- name: unit
sequence:
sequence: int64
splits:
- name: academicodec_hifi_16k_320d
num_bytes: 16073006
num_examples: 2000
- name: academicodec_hifi_16k_320d_large_uni
num_bytes: 16073006
num_examples: 2000
- name: academicodec_hifi_24k_320d
num_bytes: 24073006
num_examples: 2000
- name: audiodec_24k_320d
num_bytes: 51305006
num_examples: 2000
- name: dac_16k
num_bytes: 48137006
num_examples: 2000
- name: dac_24k
num_bytes: 192297006
num_examples: 2000
- name: dac_44k
num_bytes: 62177006
num_examples: 2000
- name: encodec_24k_12bps
num_bytes: 96169006
num_examples: 2000
- name: encodec_24k_1_5bps
num_bytes: 12057006
num_examples: 2000
- name: encodec_24k_24bps
num_bytes: 192297006
num_examples: 2000
- name: encodec_24k_3bps
num_bytes: 24073006
num_examples: 2000
- name: encodec_24k_6bps
num_bytes: 48105006
num_examples: 2000
- name: funcodec_en_libritts_16k_gr1nq32ds320
num_bytes: 128809006
num_examples: 2000
- name: funcodec_en_libritts_16k_gr8nq32ds320
num_bytes: 128809006
num_examples: 2000
- name: funcodec_en_libritts_16k_nq32ds320
num_bytes: 128297006
num_examples: 2000
- name: funcodec_en_libritts_16k_nq32ds640
num_bytes: 64297006
num_examples: 2000
- name: funcodec_zh_en_16k_nq32ds320
num_bytes: 128297006
num_examples: 2000
- name: funcodec_zh_en_16k_nq32ds640
num_bytes: 64297006
num_examples: 2000
- name: speech_tokenizer_16k
num_bytes: 32105006
num_examples: 2000
download_size: 217582805
dataset_size: 1457747114
---
# Dataset Card for "esc50_unit"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

## 配置项
- 配置名称：default
数据文件列表：
- 数据集拆分：academicodec_hifi_16k_320d，文件路径：data/academicodec_hifi_16k_320d-*
- 数据集拆分：academicodec_hifi_16k_320d_large_uni，文件路径：data/academicodec_hifi_16k_320d_large_uni-*
- 数据集拆分：academicodec_hifi_24k_320d，文件路径：data/academicodec_hifi_24k_320d-*
- 数据集拆分：audiodec_24k_320d，文件路径：data/audiodec_24k_320d-*
- 数据集拆分：dac_16k，文件路径：data/dac_16k-*
- 数据集拆分：dac_24k，文件路径：data/dac_24k-*
- 数据集拆分：dac_44k，文件路径：data/dac_44k-*
- 数据集拆分：encodec_24k_12bps，文件路径：data/encodec_24k_12bps-*
- 数据集拆分：encodec_24k_1_5bps，文件路径：data/encodec_24k_1_5bps-*
- 数据集拆分：encodec_24k_24bps，文件路径：data/encodec_24k_24bps-*
- 数据集拆分：encodec_24k_3bps，文件路径：data/encodec_24k_3bps-*
- 数据集拆分：encodec_24k_6bps，文件路径：data/encodec_24k_6bps-*
- 数据集拆分：funcodec_en_libritts_16k_gr1nq32ds320，文件路径：data/funcodec_en_libritts_16k_gr1nq32ds320-*
- 数据集拆分：funcodec_en_libritts_16k_gr8nq32ds320，文件路径：data/funcodec_en_libritts_16k_gr8nq32ds320-*
- 数据集拆分：funcodec_en_libritts_16k_nq32ds320，文件路径：data/funcodec_en_libritts_16k_nq32ds320-*
- 数据集拆分：funcodec_en_libritts_16k_nq32ds640，文件路径：data/funcodec_en_libritts_16k_nq32ds640-*
- 数据集拆分：funcodec_zh_en_16k_nq32ds320，文件路径：data/funcodec_zh_en_16k_nq32ds320-*
- 数据集拆分：funcodec_zh_en_16k_nq32ds640，文件路径：data/funcodec_zh_en_16k_nq32ds640-*
- 数据集拆分：speech_tokenizer_16k，文件路径：data/speech_tokenizer_16k-*

## 数据集信息
### 特征字段
- 字段名称：id，数据类型：字符串
- 字段名称：unit，为嵌套序列，内层序列元素类型为64位整数

### 数据集拆分详情
- 拆分名称：academicodec_hifi_16k_320d，字节数：16073006，样本数量：2000
- 拆分名称：academicodec_hifi_16k_320d_large_uni，字节数：16073006，样本数量：2000
- 拆分名称：academicodec_hifi_24k_320d，字节数：24073006，样本数量：2000
- 拆分名称：audiodec_24k_320d，字节数：51305006，样本数量：2000
- 拆分名称：dac_16k，字节数：48137006，样本数量：2000
- 拆分名称：dac_24k，字节数：192297006，样本数量：2000
- 拆分名称：dac_44k，字节数：62177006，样本数量：2000
- 拆分名称：encodec_24k_12bps，字节数：96169006，样本数量：2000
- 拆分名称：encodec_24k_1_5bps，字节数：12057006，样本数量：2000
- 拆分名称：encodec_24k_24bps，字节数：192297006，样本数量：2000
- 拆分名称：encodec_24k_3bps，字节数：24073006，样本数量：2000
- 拆分名称：encodec_24k_6bps，字节数：48105006，样本数量：2000
- 拆分名称：funcodec_en_libritts_16k_gr1nq32ds320，字节数：128809006，样本数量：2000
- 拆分名称：funcodec_en_libritts_16k_gr8nq32ds320，字节数：128809006，样本数量：2000
- 拆分名称：funcodec_en_libritts_16k_nq32ds320，字节数：128297006，样本数量：2000
- 拆分名称：funcodec_en_libritts_16k_nq32ds640，字节数：64297006，样本数量：2000
- 拆分名称：funcodec_zh_en_16k_nq32ds320，字节数：128297006，样本数量：2000
- 拆分名称：funcodec_zh_en_16k_nq32ds640，字节数：64297006，样本数量：2000
- 拆分名称：speech_tokenizer_16k，字节数：32105006，样本数量：2000

- 下载总大小：217582805
- 数据集总大小：1457747114

---
# "esc50_unit" 数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集配置

• 默认配置：包含多个数据文件，每个文件对应一个特定的分割（split）。

数据文件列表

• academicodec_hifi_16k_320d
  • 路径：data/academicodec_hifi_16k_320d-*
• academicodec_hifi_16k_320d_large_uni
  • 路径：data/academicodec_hifi_16k_320d_large_uni-*
• academicodec_hifi_24k_320d
  • 路径：data/academicodec_hifi_24k_320d-*
• audiodec_24k_320d
  • 路径：data/audiodec_24k_320d-*
• dac_16k
  • 路径：data/dac_16k-*
• dac_24k
  • 路径：data/dac_24k-*
• dac_44k
  • 路径：data/dac_44k-*
• encodec_24k_12bps
  • 路径：data/encodec_24k_12bps-*
• encodec_24k_1_5bps
  • 路径：data/encodec_24k_1_5bps-*
• encodec_24k_24bps
  • 路径：data/encodec_24k_24bps-*
• encodec_24k_3bps
  • 路径：data/encodec_24k_3bps-*
• encodec_24k_6bps
  • 路径：data/encodec_24k_6bps-*
• funcodec_en_libritts_16k_gr1nq32ds320
  • 路径：data/funcodec_en_libritts_16k_gr1nq32ds320-*
• funcodec_en_libritts_16k_gr8nq32ds320
  • 路径：data/funcodec_en_libritts_16k_gr8nq32ds320-*
• funcodec_en_libritts_16k_nq32ds320
  • 路径：data/funcodec_en_libritts_16k_nq32ds320-*
• funcodec_en_libritts_16k_nq32ds640
  • 路径：data/funcodec_en_libritts_16k_nq32ds640-*
• funcodec_zh_en_16k_nq32ds320
  • 路径：data/funcodec_zh_en_16k_nq32ds320-*
• funcodec_zh_en_16k_nq32ds640
  • 路径：data/funcodec_zh_en_16k_nq32ds640-*
• speech_tokenizer_16k
  • 路径：data/speech_tokenizer_16k-*

数据集信息

• 特征：
  • id：字符串类型
  • unit：序列类型，包含整数64位

分割信息

• academicodec_hifi_16k_320d
  • 字节数：16073006
  • 样本数：2000
• academicodec_hifi_16k_320d_large_uni
  • 字节数：16073006
  • 样本数：2000
• academicodec_hifi_24k_320d
  • 字节数：24073006
  • 样本数：2000
• audiodec_24k_320d
  • 字节数：51305006
  • 样本数：2000
• dac_16k
  • 字节数：48137006
  • 样本数：2000
• dac_24k
  • 字节数：192297006
  • 样本数：2000
• dac_44k
  • 字节数：62177006
  • 样本数：2000
• encodec_24k_12bps
  • 字节数：96169006
  • 样本数：2000
• encodec_24k_1_5bps
  • 字节数：12057006
  • 样本数：2000
• encodec_24k_24bps
  • 字节数：192297006
  • 样本数：2000
• encodec_24k_3bps
  • 字节数：24073006
  • 样本数：2000
• encodec_24k_6bps
  • 字节数：48105006
  • 样本数：2000
• funcodec_en_libritts_16k_gr1nq32ds320
  • 字节数：128809006
  • 样本数：2000
• funcodec_en_libritts_16k_gr8nq32ds320
  • 字节数：128809006
  • 样本数：2000
• funcodec_en_libritts_16k_nq32ds320
  • 字节数：128297006
  • 样本数：2000
• funcodec_en_libritts_16k_nq32ds640
  • 字节数：64297006
  • 样本数：2000
• funcodec_zh_en_16k_nq32ds320
  • 字节数：128297006
  • 样本数：2000
• funcodec_zh_en_16k_nq32ds640
  • 字节数：64297006
  • 样本数：2000
• speech_tokenizer_16k
  • 字节数：32105006
  • 样本数：2000

数据集大小

• 下载大小：217582805字节
• 数据集大小：1457747114字节

搜集汇总

数据集介绍

构建方式

Codec-SUPERB/esc50_unit数据集是基于经典的ESC-50环境声音分类数据集构建而成，旨在为神经音频编解码器的单元（unit）表示提供标准化的评估基准。该数据集通过将原始音频信号输入多种主流或前沿的编解码器模型，提取其离散化的潜在表示单元，从而形成一系列以编解码器名称和采样率命名的子集。每个子集包含2000个样本，涵盖了从16kHz到44kHz的不同采样率，以及从低比特率到高比特率的多种编码配置，如AcademiCodec、AudioDec、DAC、EnCodec、Funcodec及SpeechTokenizer等模型，确保了评估的多样性与全面性。

特点

该数据集的核心特点在于其多维度、跨模型的单元表示集合，为研究人员提供了统一的平台以比较不同编解码器在环境声音任务上的表现。每个样本包含唯一的标识符（id）和对应的离散单元序列（unit），单元序列以嵌套的整数列表形式存储，反映了编解码器对音频的时间-频率分解。数据集的规模适中，总大小约1.46GB，便于快速加载与实验迭代。此外，所有子集均基于相同的ESC-50原始音频源，确保了不同编解码器之间比较的公平性与一致性，特别适合用于评估单元表示在分类、检索或生成任务中的语义保真度。

使用方法

使用该数据集时，推荐通过Hugging Face的datasets库进行加载，利用其内置的流式处理功能高效访问特定子集。研究者可以根据研究目标选择对应的split参数，例如'encodec_24k_6bps'或'dac_16k'，以获取特定编解码器的单元表示。数据以字典形式返回，包含'id'和'unit'字段，其中'unit'为可变长度的整数序列，可直接输入到下游模型（如Transformer或RNN）中进行分类或序列建模。对于需要原始音频的任务，建议结合ESC-50原始数据集使用，以利用本数据集提供的单元表示进行预训练或特征提取。

背景与挑战

背景概述

Codec-SUPERB/esc50_unit数据集诞生于语音编码与音频表示学习快速发展的时代，由学术界与工业界联合构建，旨在系统性评估神经音频编解码器对下游感知任务的适用性。该数据集以经典的ESC-50环境声音分类任务为基准，将原始音频通过多种主流编解码器（如EnCodec、DAC、Funcodec、SpeechTokenizer等）转换为离散单元序列，从而构建出跨越不同采样率、码率与量化策略的标准化评测平台。其核心研究问题聚焦于：在音质损失与信息压缩的权衡下，神经编解码器产生的单元表示能否保留足够的语义与声学特征以支撑高精度分类。自发布以来，该数据集已成为语音与音频领域评估编解码器泛化能力的重要标杆，推动了单元式音频表示在理解任务中的标准化进程。

当前挑战

该数据集面临的核心挑战体现在两个层面：其一，在领域问题层面，环境声音分类要求模型从高度非平稳的声学信号中提取鲁棒特征，而编解码器引入的量化噪声与频带截断可能掩蔽关键声学事件，导致分类性能显著下降，特别是对于瞬态声音（如玻璃破碎）与低频背景噪声的区分尤为困难。其二，在构建过程中，如何确保跨编解码器的单元序列具有可比性是一大难题——不同模型在码本设计、时间分辨率与重构策略上的差异，使得同一段音频被映射为维度与语义粒度迥异的离散序列，这要求评测框架必须设计统一的长度对齐与后处理策略，同时避免因归一化操作引入额外偏差。此外，多采样率（16kHz至44kHz）与多码率（1.5bps至24bps）的配置组合，使得数据规模呈指数级增长，对存储与计算资源提出了严峻考验。

常用场景

经典使用场景

Codec-SUPERB/esc50_unit数据集的核心应用在于为神经音频编解码器（Neural Audio Codec）提供标准化的评测基准。该数据集将经典的ESC-50环境声音分类任务与多种主流编解码器（如EnCodec、DAC、AudioDec等）生成的离散单元（Unit）表示相结合，使得研究者能够在统一的框架下评估不同编解码器对下游语音与音频任务的影响。经典使用场景包括：利用预训练的编解码器将原始音频转换为离散单元序列，再基于这些单元进行环境声音分类，从而衡量编解码器在保留语义信息方面的能力。这一范式为神经音频编解码器的性能评估提供了可复现、可对比的实验平台。

实际应用

在实际应用中，该数据集可服务于智能语音助手、可穿戴设备、远程会议系统等对音频传输效率与质量有双重需求的场景。例如，在低带宽通信环境下，设备需采用高压缩率的音频编解码器以节省带宽，但需确保解码后的音频仍能准确识别环境事件（如警报声、门铃声）。利用Codec-SUPERB/esc50_unit，开发者可预先评估不同编解码器在特定带宽限制下的分类准确率，从而选择最适配的编解码方案。此外，该数据集还可用于训练鲁棒性更强的音频事件检测模型，使其能够适应由不同编解码器引入的失真，提升实际部署中的泛化能力。

衍生相关工作

基于该数据集，已衍生出多项重要研究工作。例如，研究者利用其提供的多编解码器离散单元，探索了语音自监督模型（如HuBERT、WavLM）的离散表示与编解码器单元之间的语义对齐问题，提出了联合训练框架以提升下游任务的迁移性能。另有一些工作聚焦于编解码器的可解释性分析，通过对比不同编解码器在ESC-50各子类上的表现差异，揭示了量化精度与特定声学特征（如瞬态噪声、谐波结构）之间的关联。此外，该数据集还催生了针对音频生成任务的编解码器选择指南，为语音合成、音乐生成等领域的实践提供了经验性的参考依据。