anforsm/common_voice_11_clean_tokenized

Common Voice 11 (en) Cleaned and Tokenized数据集是从Mozilla Common Voice 11数据集的英语部分清理和标记化得到的版本。清理步骤包括过滤样本（样本需有超过2个赞且少于1个踩）和去除音频开头和结尾的非语音部分。标记化过程包括使用Meta的EnCodec进行音频标记化（使用24kHz预训练模型，目标带宽为1.5），并将音频标记表示为audio_token_0到audio_token_1023。提示构建为“text: <common voice transcript>
audio: <audio tokens>”，并使用GPT标记器进行标记化，标记化后的提示填充到大小为1024，并添加eos_token。每个样本包含三个属性：input_ids、attention_mask和labels。

原始信息汇总

数据集概述

基本信息

• 许可证: CC0-1.0
• 语言: 英语 (en)
• 任务类别: 文本到语音 (text-to-speech), 文本生成 (text-generation)
• 数据集名称: Common Voice 11 (en) Cleaned and Tokenized
• 大小类别: 10K<n<100K

数据集特征

• input_ids: 整数序列 (int32)
• attention_mask: 整数序列 (int8)
• labels: 整数序列 (int64)

数据集分割

• 训练集:
  • 字节数: 1109542776
  • 样本数: 83274
• 验证集:
  • 字节数: 17374496
  • 样本数: 1304

数据集大小

• 下载大小: 197852035
• 数据集总大小: 1126917272

数据处理

• 清洗步骤:
  • 筛选样本：至少2个upvotes，最多1个downvotes
  • 移除非语音音频：使用pytorch VAD处理音频的开始和结束部分
• 分词处理:
  • 音频分词：使用Meta的EnCodec，24kHz预训练模型，目标带宽1.5
  • 文本表示：音频标记为audio_token_0至audio_token_1023
  • 提示构建："text: <common voice transcript> audio: <audio tokens>"
  • 提示分词：使用GPT分词器，添加音频标记的词汇
  • 分词后填充：填充至大小1024，使用eos_token

样本属性

• input_ids: 分词后的提示
• attention_mask: 注意力掩码
• labels: 分词后的提示

搜集汇总

数据集介绍

构建方式

在语音与文本多模态研究领域，数据质量与处理一致性至关重要。该数据集源自Mozilla Common Voice 11英文语料，经严格清洗与标准化构建而成。清洗环节包括：筛选获得至少两次点赞且无反对票的高质量样本，并利用PyTorch的语音活动检测（VAD）技术剔除音频首尾的非语音片段。随后，采用Meta开发的EnCodec模型以24kHz预训练权重和1.5目标带宽对音频进行分词，将其表示为audio_token_0至audio_token_1023的序列。最终，将文本转录与音频令牌拼接为“text: <转录文本>\naudio: <音频令牌>”格式的提示，并通过GPT分词器扩展词汇表后统一填充至1024长度。

使用方法

该数据集专为文本到语音（TTS）及文本生成任务设计。使用时，可直接加载input_ids和attention_mask作为模型输入，labels作为监督目标。对于TTS任务，可将解码后的音频令牌序列通过EnCodec解码器还原为波形。对于文本生成任务，模型需学习根据文本提示生成对应的音频令牌序列。建议在训练前确认分词器已添加audio_token词汇，并使用填充至1024长度的序列。数据已按标准格式组织，可直接用于HuggingFace Trainer或自定义训练循环，验证集可用于评估生成质量。

背景与挑战

背景概述

在语音合成与文本生成领域，大规模、高质量的多模态数据集是推动模型性能突破的关键基石。anforsm/common_voice_11_clean_tokenized数据集由研究者于2023年基于Mozilla Common Voice 11.0英文语料构建，旨在解决语音与文本联合建模中的数据清洗与标准化难题。该数据集通过严格的投票过滤机制（仅保留多于2个赞且少于1个踩的样本）和基于PyTorch的语音活动检测（VAD）技术，剔除了音频中的非语音片段，显著提升了数据纯净度。其核心创新在于采用Meta的EnCodec编码器将语音信号离散化为1024个音频令牌，并与文本转录拼接成结构化提示，适配GPT类模型的序列生成范式。这一设计为文本到语音（TTS）和语音条件文本生成任务提供了可直接训练的标准化资源，推动了跨模态生成研究的可复现性与效率。

当前挑战

该数据集面临的核心挑战包括：首先，领域问题层面，语音与文本的联合建模需克服模态差异带来的语义对齐困难——EnCodec的离散音频令牌虽简化了表示，但1.5 kbps的低带宽压缩可能损失细微声学特征（如情感、语调），导致生成语音的自然度受限；其次，构建过程中，基于社区众包的Common Voice原始数据存在标注噪声（如背景干扰、口音偏差），尽管采用投票过滤与VAD清洗，仍难以完全消除长尾错误样本对模型泛化能力的影响；最后，令牌化策略中，固定1024长度的填充可能引入冗余计算，而音频令牌与文本令牌的混合序列在注意力机制中缺乏显式的模态边界标记，增加了模型学习跨模态依赖关系的复杂度。

常用场景

经典使用场景

Common Voice 11 Clean Tokenized数据集最经典的使用场景在于为文本到语音（TTS）与语音到文本（STT）的联合建模提供高质量的预处理数据。该数据集通过Mozilla Common Voice 11原始语料，经过去噪、投票筛选以及基于EnCodec的音频分词化处理，将语音信号转化为离散的音频令牌序列，并与对应的文本转录构成结构化的提示对。这种格式特别适合用于训练基于Transformer架构的多模态生成模型，例如语音语言模型，能够在统一的框架下同时学习文本与音频之间的映射关系，推动语音理解与生成任务的深度融合。

解决学术问题

该数据集有效解决了语音领域长期存在的两大核心学术问题：一是原始语音数据中噪声与低质量样本对模型性能的负面影响，二是音频与文本模态间难以高效对齐的挑战。通过严格的样本筛选（仅保留高投票数、低反对数的音频）和VAD端点检测去除静音段，数据集的信噪比得到显著提升。同时，采用EnCodec将连续音频编码为离散令牌，使得语音信号能够像文本一样被语言模型处理，从而解决了跨模态语义对齐的难题。这一处理范式为构建统一的语音-文本联合表示学习框架奠定了坚实基础，显著提升了模型在低资源场景下的泛化能力。

实际应用

在实际应用层面，该数据集直接支撑了多项前沿语音技术的落地。例如，基于该数据集训练的语音语言模型可被部署于智能语音助手系统，实现端到端的语音交互，无需依赖传统的级联式ASR与TTS流水线。此外，在辅助通讯设备中，该数据有助于构建面向听障人士的实时语音转文字与文字转语音服务，提升信息无障碍水平。在内容创作领域，该数据集还可用于开发高保真的语音克隆与个性化语音合成工具，广泛应用于有声读物制作、虚拟主播以及游戏角色配音等场景。

数据集最近研究

最新研究方向

在当前语音合成与文本生成领域的前沿探索中，大规模多模态数据集的精细处理已成为关键突破点。Common Voice 11 (en) Cleaned and Tokenized数据集通过严格的投票筛选与VAD端点检测技术，剔除了低质量样本，显著提升了数据纯净度。其核心创新在于采用Meta的EnCodec模型将音频编码为离散音频令牌，并创新性地构建“文本+音频令牌”的联合提示结构，经GPT分词器统一处理后形成标准化输入序列。这一处理范式为神经编解码语言模型在零样本语音合成、跨模态生成等热点方向提供了高质量训练基础，尤其推动了端到端语音理解与生成统一框架的研究进展，对降低语音技术对成对数据的依赖具有深远意义。