shangeth/vctk-mimi-codes

VCTK Mimi Codes (mic1)是基于VCTK Corpus预提取的Kyutai Mimi tokens数据集，包含109位讲者，覆盖11种英国、苏格兰和美国口音，总计约44小时的朗读语音。仅包含mic1录音，排除了mic2的重复录音。数据集的结构包括id、text、speaker_id、accent、codes等字段。提取细节包括数据来源、编解码器、重采样和过滤条件。

VCTK Mimi Codes (mic1) are pre-extracted Kyutai Mimi tokens for the VCTK Corpus — 109 speakers across 11 British, Scottish, and American accents. ~44h of read speech. Only mic1 recordings are included. Mic2 duplicates are excluded. The dataset schema includes id, text, speaker_id, accent, codes, etc. Extraction details cover the source, codec, resampling, and filtering conditions.

搜集汇总

数据集介绍

构建方式

vctk-mimi-codes数据集基于广受使用的VCTK语料库构建，该语料库收录了109位来自英式、苏格兰及美式等11种不同口音发音人的朗读语音，总时长约44小时。数据集仅保留了由近距离麦克风（mic1）录制的声道信号，排除了远场麦克风（mic2）的重复内容，以确保音频质量的纯净与一致性。随后，研究者采用Kyutai Mimi神经编解码器，将原始48kHz采样率重采样至24kHz，并以12.5帧/秒的速率提取出8个码本（codebook）的离散音频令牌（codes），最终以霍夫曼编码的紧凑格式存储于数据集中。

使用方法

研究者可通过Hugging Face Datasets库便捷地加载该数据集，只需一行代码即可将训练集载入为PyTorch张量格式。每个样本被组织为包含id、text、speaker_id、accent及codes等字段的结构化记录，其中codes字段为形状为[8, n_frames]的二维整数张量，可直接馈入Transformer或卷积神经网络进行自回归或非自回归的声学建模。该数据集还附带了相关的提取脚本与训练框架（如Wren TTS），支持用户从零复现令牌提取流程、微调预训练模型或基于离散令牌开发新型的语音文本统一模型。

背景与挑战

背景概述

VCTK Mimi Codes数据集由研究者Shangeth Rajaa于2026年创建，隶属于Wren研究项目，旨在为神经音频编解码器与文本到语音合成领域提供高质量、多说话人的预提取音频令牌资源。该数据集基于经典的VCTK语料库，涵盖了109位来自英国、苏格兰和美国等11种口音的说话人，总计约44小时的朗读语音。通过使用Kyutai Mimi编解码器在24kHz采样率下提取8个码本索引，数据集以紧凑的令牌化形式保留了语音的声学与韵律特征，为跨说话人、跨口音的语音合成与统一语音-文本建模奠定了数据基础。其影响力体现在为小参数模型族的开发提供了标准化音频表示，推动了开放权重语音模型的研究进展。

当前挑战

该数据集所解决的领域问题主要包括：神经编解码器在语音合成中面临的多说话人泛化与口音频谱覆盖不足的挑战。构建过程中遇到的挑战则涉及数据预处理与质量控制：原始VCTK语料库包含双麦克风录音，团队需要筛选出信噪比更优的mic1通道，排除mic2数据带来的噪声干扰；同时需将48kHz的原始音频重采样至24kHz以适应Mimi编解码器的输入要求，并确保帧率（12.5fps）与码本索引的精确对齐。此外，口音分类标签的标准化、说话人ID的数值化映射以及跨多种口音数据的统一令牌表示，均要求构建流程具备高度的鲁棒性与一致性。

常用场景

经典使用场景

VCTK-Mimi-Codes数据集在语音合成与神经编解码研究中扮演着桥梁角色，它将经典的VCTK多说话人朗读语料库与Kyutai开发的Mimi神经编解码器深度融合。研究人员可通过该数据集直接获取每段语音经Mimi编码器提取的离散音频标记（codes），这些标记以8个码本、12.5帧/秒的速率表征说话人发音的声学特征。其经典使用场景集中于以离散音频标记为输入条件的高质量文本到语音合成任务，特别是利用多说话人、多口音（涵盖11种英式、苏格兰及美式口音）的丰富标注信息，训练能够灵活控制说话人身份与口音风格的生成式语音模型。

解决学术问题

该数据集有效回应了学术研究中离散化声学表征在语音合成中的适用性与效率问题。传统方法依赖连续的梅尔频谱或波形特征，而VCTK-Mimi-Codes通过提供预提取的Mimi编解码标记，使得研究者能够聚焦于离散序列建模的新范式，例如如何从文本或共享的语音-文本联合表示中准确预测这些音频标记序列。这解决了多说话人语音合成中说话人特征与内容解耦的难题，并推动了轻量化、高表现力的离散化语音合成系统的发展。其意义在于降低了探索神经编解码器（如Mimi）在语音领域应用的门槛，为统一语音与文本的联合建模开辟了新的实验基准。

实际应用

在实际应用层面，VCTK-Mimi-Codes数据集为开发可定制、多口音的语音交互系统提供了坚实的训练素材。基于该数据集训练的模型，能够支撑语音助手、有声书生成、辅助沟通设备等场景，允许用户选择或混合不同的说话人及口音风格。由于数据来源于VCTK中麦克风1（mic1）的干净录音，所生成的语音质量更优，适合对噪声敏感的商用环境。此外，该数据集的离散标记特性使其天然适配于高效的边缘设备部署，加速了低比特率、低计算开销的实时语音应用落地。

数据集最近研究

最新研究方向

当前，神经音频编解码器（neural codec）与语音合成技术的融合已成为前沿热点，vctk-mimi-codes数据集应运而生。该数据集基于VCTK语料库，利用Kyutai Mimi编解码器提取了涵盖11种英式、苏格兰及美式口音的109位说话人的语音令牌（tokens），共计约44小时录音。其核心创新在于将连续语音信号离散化为8码本、12.5帧/秒的结构化令牌序列，为基于离散自回归或非自回归模型的文本到语音（TTS）研究提供了高质量、多口音的训练资源。这一研究方向紧密关联少样本语音克隆、零样本语音合成等热点事件——通过将语音编码为与文本令牌相似的离散表示，研究者得以复用大语言模型架构实现统一语音-文本建模，极大降低了跨模态对齐的复杂度。Wren项目正是这一范式的典型实践，利用该数据集训练的TTS模型展示了在保持说话人个性与口音多样性前提下的高保真合成能力。vctk-mimi-codes的发布不仅为多口音语音合成树立了标准化基准，更推动了神经编解码器在语音领域从信号压缩向生成建模的范式迁移，其对开放权重研究生态的贡献（CC-BY-4.0许可）亦有望加速前沿TTS技术的民主化进程。