TIMIT-TTS

TIMIT-TTS是一个由米兰理工大学和德雷塞尔大学合作创建的合成语音数据集，包含近80000条使用最先进的TTS技术生成的语音数据。该数据集旨在支持多模态合成媒体检测的研究，可以单独使用或与DeepfakeTIMIT和VidTIMIT视频数据集结合使用，进行多模态研究。TIMIT-TTS数据集的创建过程涉及使用Text-to-Speech (TTS)和Dynamic Time Warping (DTW)技术生成真实感的语音轨道，并应用于VidTIMIT和DeepfakeTIMIT数据集以构建新的多模态TIMIT-TTS数据集。该数据集的应用领域包括合成语音检测和多模态深度伪造数据分析，旨在解决当前多媒体取证领域中多模态检测器缺乏的问题。

TIMIT-TTS is a synthetic speech dataset co-developed by Politecnico di Milano and Drexel University, which contains nearly 80,000 speech samples generated via state-of-the-art TTS technologies. This dataset is designed to support research on multimodal synthetic media detection, and can be used either independently or in combination with the DeepfakeTIMIT and VidTIMIT video datasets for multimodal research. The creation of the TIMIT-TTS dataset involves using Text-to-Speech (TTS) and Dynamic Time Warping (DTW) techniques to generate realistic speech tracks, which are then applied to the VidTIMIT and DeepfakeTIMIT datasets to construct the new multimodal TIMIT-TTS dataset. The application scenarios of this dataset cover synthetic speech detection and multimodal deepfake data analysis, with the core goal of addressing the current shortage of multimodal detectors in the field of multimedia forensics.

搜集汇总

数据集介绍

构建方式

TIMIT-TTS数据集基于VidTIMIT和DeepfakeTIMIT视频数据集构建，采用文本转语音（TTS）与动态时间规整（DTW）技术相结合的流水线方法。首先，通过语音转文本算法提取视频中的语音内容为文本；随后，利用12种前沿TTS系统（如Tacotron2、GlowTTS、VITS等）生成合成语音；最后，通过DTW实现合成语音与原始视频的精确同步，并可选地应用数据增强（如噪声注入、音调偏移、MP3压缩）以提升数据多样性和检测挑战性。数据集涵盖单说话人与多说话人两种模式，总计近80,000条语音轨迹，以16kHz采样率的WAV格式存储。

特点

TIMIT-TTS数据集具备高度多样性与现实性，其核心特点包括：采用12种不同TTS生成算法，覆盖当前最先进的频谱生成器与声码器组合，确保合成语音在音色、韵律和自然度上呈现显著差异；通过DTW技术实现音视频精准同步，消除时序不一致性，模拟真实伪造场景；引入多种数据增强操作，隐藏生成痕迹，提升检测难度。此外，数据集支持闭集与开集检测、二元分类与多类归因任务，尤其通过多TTS系统共享单一说话人（如LJSpeech）的设计，迫使检测器聚焦于算法级伪影而非说话人特征，为研究提供更具挑战性的基准。

使用方法

TIMIT-TTS数据集可灵活用于音频与多模态深度伪造检测研究。在音频分析中，研究者可将其作为独立合成语音数据集，进行真实 vs. 伪造的二元分类，或开展合成语音归因任务，即识别生成语音的具体TTS算法。在多模态场景下，TIMIT-TTS可与VidTIMIT（真实视频）和DeepfakeTIMIT（伪造视频）联合使用，构建音视频均可能被篡改的多模态数据集，支持跨模态一致性分析。数据集按生成算法、说话人类型及后处理方式（clean、dtw、aug、dtw_aug）组织目录结构，便于划分训练集与测试集，并可通过内置CSV文件追溯每条轨迹的增强参数，实现可重复实验。

背景与挑战

背景概述

TIMIT-TTS数据集由米兰理工大学与德雷塞尔大学的研究人员于2022年联合创建，旨在应对深度学习驱动下多媒体伪造内容泛滥的严峻挑战。随着文本转语音（TTS）技术的飞速发展，合成语音的真实性日益增强，使得音频与视频深度伪造的联合检测成为亟待解决的领域难题。该数据集基于经典的VidTIMIT与DeepfakeTIMIT视频库，通过集成12种最先进的TTS生成算法，构建了包含近8万条合成语音样本的音频-视觉多模态伪造数据集。TIMIT-TTS不仅填补了多模态深度伪造数据匮乏的空白，还为研究者提供了统一的基准平台，推动了音频伪造检测与多模态取证技术的协同发展，在多媒体安全领域产生了重要影响。

当前挑战

TIMIT-TTS数据集面临的核心挑战体现在两个层面。在领域问题层面，多模态深度伪造检测要求算法同时判别音频与视频的真实性，然而现有检测器多聚焦于单模态分析，难以应对音频与视频伪造类型不一致的复杂场景，导致检测性能受限。在数据集构建过程中，挑战尤为突出：首先，需确保合成语音与视频口型的高度同步，以避免因时间错位造成的伪影泄露；其次，不同TTS算法生成的语音在音色、韵律和自然度上差异显著，如何保证数据集内样本的多样性与均衡性是一大难题；最后，数据增强技术的引入虽提升了样本的真实性与鲁棒性，却也增加了检测器区分真实与伪造内容的难度，进一步凸显了多模态数据在训练与评估中的关键作用。

常用场景

经典使用场景

TIMIT-TTS数据集为多媒体取证领域提供了至关重要的资源，其最经典的使用场景在于构建和评估音频深度伪造检测系统。研究人员利用该数据集训练鉴别模型，以区分真实语音与由12种前沿文本转语音（TTS）技术合成的语音。该数据集包含近80,000条音频轨迹，覆盖单说话人与多说话人场景，并提供了经动态时间规整（DTW）同步与数据增强处理后的多个版本，从而模拟真实世界中可能遇到的复杂条件。通过在该数据集上进行封闭集与开放集测试，研究者能够系统性地评估检测算法对未知伪造方法的泛化能力，尤其关注模型是否真正学习到了生成痕迹而非说话人身份等表面特征。

衍生相关工作

TIMIT-TTS数据集的发布催生了一系列相关研究工作，显著推动了深度伪造检测领域的发展。在音频检测方面，研究者基于该数据集改进了RawNet2等端到端模型，探索了不同TTS算法留下的独特痕迹，并提出了针对合成语音归因任务的新型网络架构。在视频检测领域，EfficientNetB4等模型被用于分析对应的VidTIMIT与DeepfakeTIMIT视频数据，评估了视频压缩对检测性能的影响。最为重要的是，该数据集促进了多模态检测方法的兴起，研究者通过融合音频与视频检测器的得分，实现了比单模态分析更为优异的鉴别效果。例如，结合音频与视频信息的简单分数融合策略，即可在复杂场景下将AUC值提升至0.92，证明了多模态分析的必要性与潜力。

数据集最近研究

最新研究方向

在当前深度伪造技术迅猛发展的背景下，TIMIT-TTS数据集聚焦于多模态合成媒体检测的前沿探索，填补了视听联合伪造数据匮乏的空白。该数据集利用12种最先进的文本转语音系统生成近8万条合成语音，并结合DeepfakeTIMIT与VidTIMIT视频数据集，构建了首个兼具语音多样性与视听同步性的多模态伪造资源。研究通过单模态与多模态检测实验揭示，仅依赖音频或视频的检测方案在面对时域对齐与数据增强后的伪造内容时性能显著下降，而多模态融合策略则能有效提升鲁棒性，尤其在低质量视频场景下AUC提升达0.15。这一成果不仅为应对深度伪造在社交媒体中的快速传播提供了关键训练基准，更推动领域从单一模态分析向联合视听语义一致性验证的范式转变，对遏制虚假信息扩散具有重要战略意义。

相关研究论文

• TIMIT-TTS: a Text-to-Speech Dataset for Multimodal Synthetic Media Detection

  米兰理工大学 · 2022年