shangeth/librispeech-mimi-codes

LibriSpeech Mimi Codes数据集包含预提取的Kyutai Mimi神经编解码器标记，用于LibriSpeech语料库，该语料库包含来自LibriVox项目的多说话者英语有声读物朗读。此数据集仅包含代码，不包含音频。这些代码可以节省训练基于Mimi的语音模型所需的GPU提取时间。数据集包含每个话语的行，包括ID、文本、说话者ID、代码、帧数和代码本数。提取细节包括编解码器、代码本、代码本大小和文本来源。数据集分为多个标准LibriSpeech分割，每个分割对应不同的语音质量和时长。使用示例展示了如何加载数据集、处理代码以及解码为音频。数据集遵循CC-BY-4.0许可证，使用时需要引用原始语料库和此数据集。

The LibriSpeech Mimi Codes dataset contains pre-extracted Kyutai Mimi neural-codec tokens for the LibriSpeech corpus, which consists of multi-speaker English audiobook readings from the LibriVox project. This dataset contains codes only, not audio. These codes allow skipping the GPU extraction hours required to train Mimi-based speech models. The dataset includes rows per utterance, with columns for ID, text, speaker ID, codes, number of frames, and number of codebooks. Extraction details cover the codec, codebooks, codebook size, and transcript sources. The dataset is divided into standard LibriSpeech splits, each corresponding to different speech quality and duration. Usage examples demonstrate how to load the dataset, process codes, and decode to audio. The dataset is licensed under CC-BY-4.0, requiring attribution and citation of both the original corpus and this dataset when redistributing.

搜集汇总

数据集介绍

构建方式

LibriSpeech Mimi Codes 数据集基于经典的 LibriSpeech 语料库构建，通过 Kyutai Mimi 神经编解码器在 24 kHz 采样率下以 12.5 fps 的帧率提取全部 8 个码本（codebook）的索引，每个码本大小为 2048，以 int16 类型存储。数据集仅包含码本索引而非原始音频，每一行对应一条语音片段，字段包括唯一标识符、小写转录文本、说话人 ID 以及形状为 [8, n_frames] 的 codes 张量。为适配 HuggingFace 标准，原始数据集中的连字符被替换为下划线，分割为 train_clean_100、train_clean_360、train_other_500、dev_clean、dev_other、test_clean 和 test_other 共七个子集。构建代码已开源，确保可复现。

特点

该数据集的核心优势在于预提取的 Mimi 神经编解码码本索引，显著节省了研究者从头提取码本所需的数百 GPU 小时开销。码本按重要性排序，前几个码本即可捕获语音信号的主体信息，便于灵活选择码本数量以平衡模型质量与资源消耗。数据集保留了 LibriSpeech 原有的多说话人、多口音特性，覆盖从干净朗读到含噪及口音语音的多样化场景。每条样本附带原生转录文本，支持语音识别与合成任务。采用 int16 编码存储，在保证精度同时兼顾存储效率。

使用方法

用户可通过 HuggingFace Datasets 库便捷加载，支持完整下载与流式读取两种模式，后者无需本地存储即可遍历大规模子集。加载后可利用 torch.Tensor 转换 codes 字段进行下游训练或推理。若需恢复音频，可结合 Transformers 库中的 MimiModel 解码器，将 codes 张量输入解码模块直接生成 24 kHz 波形。对于仅需部分码本的应用，可切片 codes[:k] 获取前 k 个码本，实现资源灵活配置。数据集的 Attribution 要求引用原始 LibriSpeech 及本衍生数据集。

背景与挑战

背景概述

LibriSpeech Mimi Codes数据集诞生于2026年，由研究者Shangeth Rajaa在Wren项目框架下构建，旨在为语音-文本多模态建模提供高效的特征表示。该数据集基于经典的LibriSpeech语料库，后者由Vassil Panayotov等人于2015年发布，广泛用于自动语音识别与文本转语音研究。核心创新在于利用Kyutai Mimi神经编解码器将语音波形预提取为离散的音频令牌，这使得研究人员能够绕过耗时的GPU特征提取步骤，直接训练基于Mimi的语音模型。该数据集覆盖多说话人、多口音及不同噪声条件的语音，包含约28.7万条话语，对语音合成与识别领域具有重要推动作用。

当前挑战

该数据集所解决的领域问题在于如何高效、紧凑地表示语音信号以支持下游任务。传统波形或梅尔频谱表示存在存储开销大、处理速度慢等局限，而Mimi神经编解码器通过8个码本、每码本2048个索引的离散化方式，在12.5帧/秒的低帧率下保留了语音的关键声学信息。构建过程中面临的挑战包括：确保编解码器在24kHz采样率下对多说话人、多口音语音的鲁棒性；协调各码本的重要性排序以支持可变码本数量使用；以及将LibriSpeech原有的全大写文本统一转为小写格式，同时保持与原始转录的严格对齐。

常用场景

经典使用场景

LibriSpeech Mimi Codes 数据集的核心价值在于为多说话人英语语音处理提供了一种高效的神经编解码表示。该数据集基于广泛使用的 LibriSpeech 语料库，通过 Kyutai Mimi 神经编解码器将原始音频波形预提取为离散的声学令牌，每个语音样本被编码为 8 个码本序列，以 12.5 帧/秒的速率捕捉语音信号的层次化声学特征。研究者可直接加载这些令牌用于训练文本到语音合成、自动语音识别等模型，省去了从原始音频提取声学特征的冗长 GPU 计算过程。其结构化设计支持灵活选取不同数量的码本（如前 3 个码本即可捕获大部分语音信息），配合可流式加载的大规模数据分片（如 train_other_500 包含近 500 小时语音），为探索高效语音表示学习提供了标准化的实验平台。

衍生相关工作

围绕此数据集已催生出一系列重要的学术成果与工具链。最显著的是 Wren 系列模型，它们直接利用这些 Mimi 代码训练出兼具语音识别与语音合成能力的轻量级统一模型，证明了离散声学令牌在多任务学习中的有效性。在方法论层面，该数据集推动了神经编解码器在语音领域的实践探索，研究者可针对不同码本数量进行消融实验，深入分析声学信息的层级化编码机制。此外，配套的开源工具（如数据集提取脚本和 TTS 训练框架）降低了后续研究的重复劳动成本，使得更多团队能够基于同一基准开展公平对比实验，进而加速了语音离散表示这一前沿方向的科学进步。

数据集最近研究

最新研究方向

基于神经编解码器（neural codec）的语音表征学习成为当前语音合成与识别领域的前沿方向。LibriSpeech Mimi Codes 数据集通过预提取 Kyutai Mimi 模型的8层码本（codebook）指标，将传统波形音频高效压缩为离散符号序列，极大降低了多说话人语音建模的算力门槛。该数据集深度关联了文本-语音统一模型（如Wren系列）的热点研究，在仅使用前几层重要码本时即可保留核心语音特征，为轻量级多模态语音模型训练提供了关键基础设施。其贡献在于将耗时数小时的GPU特征提取过程标准化为即用型资源，推动了神经网络编解码在语音领域的规模化应用。