Env-TTS-Clean

Env-TTS-Clean是一个用于环境感知文本到语音（TTS）模型训练的清洁发布语料库，其核心设计是让模型能够学习生成同时具有指定说话人声音和指定声学环境特征的语音。每个数据样本包含四个对齐的24 kHz单声道FLAC音频片段及其对应的转录文本：环境样本（来自同一会话中不同说话人，代表目标声学场景）、说话人参考样本（与目标语音同一说话人，用于声音建模）、说话人参考样本的增强版本（使用MossFormer2语音增强模型处理）以及需要合成的目标语音。数据集总计包含189,918个样本，占用约119 GB磁盘空间，目标语音总时长约428.6小时（1,542,868.6秒），所有音频片段（环境、说话人参考、目标语音）总时长约1,252.1小时（4,507,421.5秒）。数据来源于六个公开的多说话人会议或对话数据集：M3SD（108,708行）、AISHELL-4（27,924行）、AliMeeting（25,087行）、AMI（13,207行）、MSDWILD（9,676行）和CHiME-6（5,316行），支持中文（zh）和英文（en）。数据集模式包含丰富的元数据，如音频片段、时长、转录文本（原始或使用Qwen3-ASR自动生成）、语言标签、来源数据集标识、会话ID、说话人ID、环境ID、文本来源、ASR置信度分数等。该数据集适用于环境感知TTS、说话人日志化、语音合成等研究任务。发布遵循CC-BY-SA-4.0许可，但使用者需注意部分上游数据集（如M3SD、MSDWILD）可能存在仅限学术或非商业研究使用的附加限制。Env-TTS-Clean is a clean released corpus for training environment-aware text-to-speech (TTS) models. Its core design enables models to learn to generate speech that combines the specified speaker's timbre and target acoustic environment features. Each data sample contains four aligned 24 kHz mono FLAC audio clips and their corresponding transcriptions: an environmental sample (from different speakers in the same session, representing the target acoustic scene), a speaker reference sample (from the same speaker as the target speech for voice modeling), an enhanced version of the speaker reference sample (processed using the MossFormer2 speech enhancement model), and the target speech to be synthesized. The dataset contains a total of 189,918 samples, occupying approximately 119 GB of disk space. The total duration of the target speech is about 428.6 hours (1,542,868.6 seconds), and the total duration of all audio clips (environmental, speaker reference, and target speech) is approximately 1,252.1 hours (4,507,421.5 seconds). The data is sourced from six public multi-speaker meeting or conversation datasets: M3SD (108,708 lines), AISHELL-4 (27,924 lines), AliMeeting (25,087 lines), AMI (13,207 lines), MSDWILD (9,676 lines), and CHiME-6 (5,316 lines). It supports both Chinese (zh) and English (en). The dataset schema includes rich metadata, such as audio clips, duration, transcriptions (either original or automatically generated using Qwen3-ASR), language tags, source dataset identifiers, session IDs, speaker IDs, environment IDs, text sources, ASR confidence scores, and more. This dataset is applicable to research tasks such as environment-aware TTS, speaker diarization, and speech synthesis. It is released under the CC-BY-SA-4.0 license, but users should note that some upstream datasets (such as M3SD and MSDWILD) may have additional restrictions allowing only academic or non-commercial research use.

原始信息汇总

数据集概述：Env-TTS-Clean

Env-TTS-Clean 是一个面向环境感知文本转语音（Environment-aware TTS）的训练语料库。该数据集旨在让模型能够学习生成具有指定说话人音色和指定声学环境的语音。

核心特性

• 数据规模：包含 189,918 行数据，总时长约为 428.6 小时（仅目标语音），所有音频总时长（环境 + 说话人 + 目标语音）约为 1,252.1 小时。
• 音频格式：所有音频片段均为 24 kHz 单声道 FLAC 格式。
• 数据对结构：每行数据包含四个配对的短音频片段及其对齐文本：
  • 环境样本：来自不同说话人，但处于相同声学场景。
  • 说话人参考：与目标语音来自同一说话人。
  • 增强后的说话人参考：使用 MossFormer2 对说话人参考进行增强后的版本。
  • 目标语音：需要合成的最终语音。
• 语言：支持 英语 (en) 和 中文 (zh)。

数据来源与分布

数据集由以下六个来源语料库整合而成：

来源数据集	行数	主要语言
M3SD	108,708	中英混合
AISHELL-4	27,924	中文
AliMeeting	25,087	中文
AMI	13,207	英语
MSDWILD	9,676	中英混合
CHiME-6	5,316	英语

数据模式 (Schema)

数据集包含 17 个字段，关键字段如下：

• environment_audio_source & speaker_audio_source & speech：分别为环境音频、说话人参考音频和目标语音的二进制 FLAC 数据。
• text：目标语音的文本转录。
• language：语言标识，值为 zh、en 或 auto。
• dataset：标识该行数据来自哪个源语料库。
• conversation_id & speaker_id & env_id：会话、说话人和声学场景的唯一标识符。
• asr_token_count & asr_mean_logprob：使用 Qwen3-ASR 模型对目标语音进行识别后的 token 数量和平均对数概率。

数据处理流程

数据处理采用流式管道，分为三个阶段：

1. 下载：从各源流式下载音频数据。
2. 处理：将音频重采样至 24 kHz，根据说话人日志切割出目标语音、说话人参考和环境音频片段。对于缺失或分割的文本，使用 Qwen3-ASR-1.7B 模型进行重新标注。结果以 snappy 压缩的 parquet 分片形式写入。
3. 上传：将处理后的数据分批次上传至 Hugging Face。
4. 增强（第二轮）：对已发布的数据，使用 MossFormer2_SE_48K 模型增强说话人参考音频。

许可与引用

• 许可协议：CC-BY-SA-4.0。需注意，部分源数据集（如 M3SD、MSDWILD）仅限学术/非商业研究使用。
• 引用：使用该数据集时，建议引用 M3SD、AISHELL-4、MSDWILD、CHiME-6 等源论文。

搜集汇总

数据集介绍

构建方式

Env-TTS-Clean数据集是一个面向环境感知文本到语音合成的训练语料库，其构建依托于一套精心设计的流式数据处理管线。该管线并行执行下载、处理与上传三个阶段：首先从多个源语料库流式拉取音频，经重采样至24 kHz单声道后，依据说话人日志信息切分出3至15秒的目标语音片段，同时从未同一声学场景中的不同说话人处提取2.5至15秒的环境参考音频，并从同一说话人处获取时长匹配的说话人身份参考音频。对于缺失或分割的转录文本，采用Qwen3-ASR-1.7B模型进行重新标注。处理后的数据以Snappy压缩的Parquet分片形式存储，每分片约800行，并分批上传至HuggingFace仓库。此外，还利用MossFormer2_SE_48K模型对说话人参考音频进行增强处理，生成第二个副本，从而强化环境与说话人特征的解耦能力。

特点

该数据集最显著的特点在于其多模态、多场景的精心设计，为环境感知语音合成提供了丰富的训练素材。它覆盖了中文与英文两种语言，并整合了来自M3SD、AISHELL-4、AliMeeting、AMI、MSDWILD和CHiME-6六个不同来源的语料，总计包含近19万条数据记录，语音总时长超过428小时，全部音频均以24 kHz单声道FLAC格式存储。每条记录同时包含环境音频、说话人参考音频、增强版说话人音频以及目标语音四个关联片段，并附有对齐的转录文本、语种标签、会话标识及说话人ID等元信息。这种多维度的结构使得模型能够在训练中同时学习到声音特征与声学环境特征，从而实现高精度的个性化与环境自适应语音合成。

使用方法

使用Env-TTS-Clean数据集进行模型训练与推理十分便捷，借助HuggingFace的datasets库即可快速加载。用户可通过load_dataset函数以流式方式获取数据，如指定参数streaming=True，即可高效处理大规模音频数据而无需一次性下载全部文件。每条记录中的音频列在访问时会自动解码为24 kHz单声道信号，用户可直接获取文本转录、语音时长等字段用于构造训练批次。该数据集适用于环境感知文本到语音合成、说话人自适应合成、语音增强与分离等任务的研究。数据集的许可协议为CC-BY-SA-4.0，使用时需注意各上游源语料库的特定条款，特别是M3SD和MSDWILD仅限学术研究用途。

背景与挑战

背景概述

在语音合成领域，如何生成同时具备指定说话人音色和特定声学环境特征的自然语音，一直是研究的前沿难题。传统的文本到语音（TTS）系统通常假设纯净的录音条件，难以泛化至包含背景噪声、混响及多说话人交叠的复杂场景。Env-TTS-Clean数据集由ChristianYang等人于2025年创建，整合了M3SD、AISHELL-4、MSDWILD、CHiME-6、AMI及AliMeeting六大公开语料库，经精密流水线处理形成189,918组三元组样本。每组数据包含目标语音、同说话人参考音频、异说话人环境音频及增强后的说话人参考，总时长超过1,252小时，采样率提升至24 kHz，并利用Qwen3-ASR-1.7B进行转录标注。该数据集为环境感知TTS研究提供了标准化训练基准，显著推动了多说话人多场景语音合成技术的发展。

当前挑战

Env-TTS-Clean所解决的领域挑战在于克服传统TTS对环境无关性的假设，实现说话人身份与声学环境的解耦控制，从而在真实混杂录音场景下生成高保真语音。构建过程中面临多重困难：首先，源语料库涉及多种采样率、标注格式和许可协议，需统一重采样至24 kHz并整合异质化元数据；其次，多源数据中说话人重叠、静音段干扰及缺乏逐句时间戳导致自动语音识别重标注的准确性难以保证；此外，为获得纯净的说话人参考，需额外部署MossFormer2增强模型进行二次处理，显著增加了计算与存储开销。最终通过三阶段流式流水线（下载→处理→上传）及分片Parquet格式，才得以在119 GB空间内高效管理超40万小时原始音频的提取与清洗。

常用场景

经典使用场景

Env-TTS-Clean数据集专为环境感知的文本到语音合成任务而设计，其核心创新在于为每个目标语音同时提供同一会话中不同说话人的环境音频样本、相同说话人的身份参考及其增强版本。这种精巧的配对结构使得模型能够学习在合成语音时同时控制目标说话人的音色特征与特定的声学环境属性。研究者常利用该数据集训练端到端的语音合成系统，使其能够在保持说话人身份一致性的前提下，灵活模拟会议室、家庭或远场等多元声学场景，从而突破传统TTS系统对环境变化鲁棒性不足的局限。数据集中近19万条高质量的24kHz音频片段，跨越中英双语和多个真实对话数据源，为环境条件可控的语音生成提供了坚实的数据基础。

解决学术问题

该数据集有效回应了语音合成领域中说话人身份与环境声学特征解耦表征这一长期悬而未决的难题。在传统研究中，环境噪声和混响常被视作干扰因素予以抑制，而Env-TTS-Clean转而将其视为可控的生成维度，推动了语音合成从‘纯净发声’向‘场景化表达’的范式转变。具体而言，它解决了跨说话人环境建模中数据稀缺与标注不一致的问题，通过统一的重采样、基于Qwen3-ASR的转录校正以及MossFormer2的语音增强流程，保障了环境与说话人线索的独立性。这一资源的问世，促进了环境感知语音合成、说话人自适应生成及多模态语音控制等研究方向的发展，对于构建具备上下文感知能力的下一代入机交互系统具有深远意义。

衍生相关工作

Env-TTS-Clean数据集的发布催生了一系列值得关注的衍生研究工作。在人机语音交互领域，有学者基于其环境-说话人解耦结构，提出了一种结合注意力机制的环境条件变分编码器，显著提升了合成语音在未见声学环境中的泛化能力。另有研究借鉴其MossFormer2增强路径，探索了语音增强与TTS联合优化框架，在低信噪比场景下实现了更加稳健的说话人一致性保持。此外，由于数据集涵盖AMI、AliMeeting等多源会议录音，部分工作利用其标注信息构建了多任务学习模型，将环境感知TTS与语音分离任务联动训练，开辟了语音生成与底层声学理解协同增效的新路径。