shangeth/libritts-r-mimi-codes

LibriTTS-R Mimi Codes是一个预提取的神经编解码器标记数据集，基于LibriTTS-R构建，专为TTS研究设计。与LibriSpeech相比，LibriTTS-R具有24 kHz的采样率（与Mimi原生匹配，无需重新采样）、句子级分段、保留标点符号以及应用了语音恢复的音频质量。数据集包含ID、文本、说话者ID、编解码器标记、帧数和编解码书数量等列。提取细节包括使用24 kHz、12.5 fps的kyutai/mimi编解码器，所有8个编解码书均已提取。数据集分割包括train_clean_100、train_clean_360、train_other_500、dev_clean、dev_other、test_clean和test_other。

LibriTTS-R Mimi Codes is a pre-extracted neural-codec tokens dataset based on LibriTTS-R, specifically designed for TTS research. Compared to LibriSpeech, LibriTTS-R features a 24 kHz sample rate (native to Mimi, no resampling needed), sentence-level segmentation, preserved punctuation, and applied speech restoration for audio quality. The dataset includes columns such as ID, text, speaker ID, codec tokens, number of frames, and number of codebooks. Extraction details involve using the kyutai/mimi codec at 24 kHz, 12.5 fps, with all 8 codebooks extracted. Dataset splits include train_clean_100, train_clean_360, train_other_500, dev_clean, dev_other, test_clean, and test_other.

搜集汇总

数据集介绍

构建方式

LibriTTS-R Mimi Codes 数据集基于经语音修复的 LibriTTS-R 语料库构建而成，专门服务于文本转语音研究。其核心构建方式是利用 Kyutai 开发的 Mimi 神经编解码器，在 24 kHz 采样率下对 LibriTTS-R 中的音频以 12.5 fps 的帧率进行编码，提取全部 8 个码本索引，并存储为 `int16[k=8][n_frames]` 二维数组。该数据集规避了传统特征提取中重采样的需求，因 Mimi 编解码器原生支持 24 kHz，与 LibriTTS-R 的采样率完美匹配。数据划分沿袭了 LibriTTS-R 的六个标准子集（如 train_clean_100、dev_clean 等），每个样本均保留了句子级的分割、混合大小写的标点文本及说话人身份标识。

特点

该数据集的核心特点在于其以预提取的离散音频令牌形式呈现，为神经编解码建模与文本转语音融合研究提供了高效且即用的表示。每个样本包含完整 8 个码本的索引序列，用户可通过切片灵活选择使用更少的码本。与原始 LibriSpeech 相比，LibriTTS-R 在采样率（24 kHz）、句子级分割、标点保留及音频质量上均针对 TTS 任务进行了优化，无需额外预处理。数据集规模庞大，总行数超过 36 万，覆盖近 600 位说话人，兼具多样性与实用性。其 CC-BY-4.0 许可证也便于学术与商业场景下的合法传播。

使用方法

使用该数据集极为便捷，用户可通过 HuggingFace Datasets 库直接加载。例如，调用 `load_dataset('shangeth/libritts-r-mimi-codes', split='train_clean_100')` 即可获取指定划分的样本。每个样本的 `codes` 字段为 `int16` 类型的二维数组，形状为 `[k, n_frames]`，可轻松转换为 PyTorch 的 `LongTensor` 供模型输入。文本字段 `text` 保留了原始标点与大小写，适合条件文本转语音生成。开发者还可根据需求选择不同的码本子集，通过 `codes[:k]` 截取前若干个码本索引，以平衡语音质量与计算开销。

背景与挑战

背景概述

LibriTTS-R Mimi Codes数据集由研究者Shangeth Rajaa于2026年创建，旨在为文本到语音合成（TTS）研究提供高效的神经编解码器表征。该数据集基于LibriTTS-R语料库，后者由Koizumi等人于2023年在Interspeech会议上提出，是对LibriSpeech进行语音修复后的多说话人TTS专用版本。通过预提取Kyutai Mimi神经编解码器的码本索引，数据集将语音信号转化为8个码书、12.5帧每秒的低维度离散表征，直接匹配Mimi编解码器原生24kHz采样率，避免了重采样开销。其核心研究问题聚焦于如何利用神经音频编解码技术统一语音与文本建模，为轻量级开放权重模型（如Wren系列）提供高效、离散化的声学特征，显著推动语音合成领域的表征学习与多模态融合研究。

当前挑战

该数据集所解决的领域挑战主要源于传统TTS系统的两大瓶颈：一是声学特征连续性导致的高计算复杂度与模型泛化困难；二是现有数据集（如LibriSpeech）因面向语音识别（ASR）而存在的采样率不匹配、分段随意、缺乏标点等弊端。通过采用LibriTTS-R的24kHz修复音频与句子级切分，辅以Mimi码本的离散化表征，数据构建中需克服的质量挑战包括：确保语音修复后的纯净度以适配编解码器鲁棒性、统一8个码书的索引提取流程以避免帧序错乱、以及在不同语音质量子集（clean/other）间保持表征一致性。这些技术细节的严谨处理，使得该数据集能够支撑高效、可控的TTS模型训练，并作为Wren等开放研究项目的基石。

常用场景

经典使用场景

LibriTTS-R Mimi Codes数据集在文本到语音（TTS）研究领域扮演着基石角色。它提供了经Kyutai Mimi神经编解码器预提取的音频token，这些token以8个码本、每秒12.5帧的精细粒度呈现。研究者可直接利用这些离散化的语音表示，免去繁琐的音频预处理步骤。经典使用方式包括将token序列作为条件输入，结合Transformer或扩散模型等架构，进行从文本到语音离散表示的直接映射，进而重构出高质量语音。其句子级别的切分与保留标点的文本，为构建端到端、高自然的TTS系统提供了理想的数据基础。

实际应用

在实际应用中，该数据集加速了智能语音助手、有声读物生成、以及个性化语音合成等产品的研发进程。开发者可利用预提取的Mimi编码token，快速训练出能够生成自然、多风格语音的轻量化TTS模型。例如，集成到实时语音交互系统中，实现低延迟的语音输出。此外，其24kHz采样率与Mimi编解码器原生匹配，免去了重采样环节，简化了从数据准备到模型部署的技术链路，显著降低了工业级语音合成系统的落地门槛。

衍生相关工作

基于该数据集，衍生出了一系列标志性工作。最为典型的是Wren研究项目及其相关的Wren-TTS模型，它们直接利用这些Mimi编码token，构建了面向统一语音-文本建模的小型开放权重模型系列。此外，该数据集为探索多码本音频token的序列建模方法、离散化语音表示下的可控生成技术（如说话人风格迁移）提供了标准评测基准。研究者还以此为基础，对比不同神经编解码器（如EnCodec、SoundStream）在TTS下游任务上的表现，推动了编解码器与语音生成系统的协同优化。