Speech INfilling Edit (SINE)

SINE数据集由NVIDIA、国立台湾大学和中央研究院联合创建，旨在推动语音编辑检测研究。该数据集包含约79,542条音频样本，分为真实音频和部分伪造音频两类，其中部分伪造音频通过Voicebox模型生成。数据集的内容包括真实音频、重新合成的真实音频、剪贴编辑音频和填充编辑音频。数据集创建过程中使用了LibriLight和LibriHeavy数据集，并通过主观评估验证了编辑音频的质量。SINE数据集的应用领域主要集中在语音伪造检测，旨在解决无缝语音编辑技术带来的安全挑战。

The SINE dataset was jointly created by NVIDIA, National Taiwan University, and Academia Sinica to advance research in speech edit detection. This dataset contains approximately 79,542 audio samples, categorized into two groups: genuine audio and partially forged audio, with some forged audio samples generated using the Voicebox model. The dataset includes four types of content: genuine audio, resynthesized genuine audio, clip-edited audio, and inpainted audio. During its creation, the LibriLight and LibriHeavy datasets were utilized, and the quality of the edited audio was verified via subjective evaluation. The primary application scope of the SINE dataset focuses on speech forgery detection, aiming to address the security challenges posed by seamless speech editing technologies.

搜集汇总

数据集介绍

构建方式

Speech INfilling Edit (SINE) 数据集的构建基于先进的语音编辑技术，特别是通过重新实现和训练 Voicebox 模型来完成。首先，研究人员在 LibriLight 数据集上进行了 Voicebox 的重新训练，并利用 Montreal Forced Aligner 对齐语音与文本。随后，通过 Voicebox 生成了四种类型的音频数据：真实音频、重新合成的真实音频、剪贴编辑音频和填充编辑音频。这些音频数据经过转录编辑，确保语义内容的多样性，并通过主观评估验证了编辑质量。最终，数据集被划分为训练集、验证集和测试集，确保了数据的平衡性和广泛性。

特点

SINE 数据集的特点在于其专注于无缝语音编辑的检测，填补了现有语音编辑数据集在无缝编辑检测方面的空白。与传统的剪贴编辑方法不同，SINE 数据集通过 Voicebox 模型生成的填充编辑音频，能够更好地模拟真实语音的连续性，减少了编辑边界的不连续性。这使得 SINE 数据集在检测无缝编辑方面更具挑战性，同时也为研究更先进的语音伪造检测方法提供了宝贵的资源。此外，数据集包含了多种音频类型，涵盖了真实、重新合成、剪贴和填充编辑等多种场景，为检测模型的训练和评估提供了丰富的多样性。

使用方法

SINE 数据集的使用方法主要围绕语音伪造检测的研究展开。研究人员可以利用该数据集训练和评估现有的语音伪造检测模型，特别是针对无缝编辑的检测能力。数据集中的四种音频类型（真实、重新合成、剪贴和填充编辑）可以用于构建不同的训练和测试场景，帮助模型学习区分真实语音与编辑语音的特征。此外，SINE 数据集还可以用于跨编辑方法的评估，测试模型在不同编辑技术下的泛化能力。通过结合主观评估和客观指标，研究人员可以全面分析检测模型的性能，并推动语音伪造检测技术的进一步发展。

背景与挑战

背景概述

随着数字通信技术的飞速发展，语音编辑技术为提升播客质量和优化虚拟助手声音等应用带来了显著优势。然而，这些技术的普及也伴随着潜在的安全隐患，尤其是语音深度伪造（deepfake）的威胁。为了应对这一挑战，研究人员开发了专门用于检测部分语音编辑的数据集。Speech INfilling Edit (SINE) 数据集由NVIDIA、国立台湾大学和中研院等机构的研究团队于2025年提出，旨在推动针对无缝语音编辑的检测研究。该数据集基于Voicebox模型生成，通过主观评估证实，相较于传统的剪切粘贴方法，使用该技术编辑的语音更难被检测到。SINE数据集的发布为反欺骗研究提供了重要的资源，推动了相关领域的技术进步。

当前挑战

SINE数据集面临的挑战主要体现在两个方面。首先，在领域问题方面，无缝语音编辑技术的进步使得检测部分伪造语音变得更加困难，传统的检测方法主要依赖于编辑点的不连续性，而SINE数据集中的语音编辑通过上下文信息实现了平滑过渡，极大增加了检测的复杂性。其次，在数据集构建过程中，研究人员需要重新实现Voicebox模型并生成高质量的编辑语音，这一过程涉及复杂的语音对齐、掩码重建和语音合成技术，确保编辑后的语音在音色和连续性上与原始语音高度一致。此外，数据集的多样性和规模也带来了计算资源和时间成本的挑战，研究人员需要在保证数据质量的同时，处理大量的语音样本和复杂的编辑任务。

常用场景

经典使用场景

Speech INfilling Edit (SINE) 数据集主要用于研究无缝语音编辑技术的检测方法。通过生成包含无缝编辑的语音样本，SINE 数据集为学术界提供了一个基准，用于评估现有语音伪造检测模型的性能。该数据集特别适用于测试自监督学习模型在检测、定位和泛化不同编辑方法时的表现，尤其是在面对无缝编辑技术时，传统检测方法往往难以应对。

衍生相关工作

SINE 数据集的发布催生了一系列相关研究工作，尤其是在自监督学习和语音伪造检测领域。基于 SINE 数据集的研究成果，许多学者提出了新的检测模型和方法，例如基于自监督学习的 SSL-Linear 模型，该模型在 SINE 数据集上表现出色。此外，SINE 数据集还启发了对跨编辑方法泛化能力的研究，推动了语音伪造检测技术的进一步发展。

数据集最近研究

最新研究方向

随着神经语音编辑技术的快速发展，SINE（Speech INfilling Edit）数据集的引入为语音欺骗检测领域提供了新的研究方向。该数据集通过Voicebox技术生成无缝语音编辑样本，挑战了传统基于剪切粘贴（CaP）编辑的检测方法。当前研究聚焦于如何通过自监督学习（SSL）模型提升对无缝编辑语音的检测能力，尤其是在局部编辑场景下的泛化性能。实验表明，基于SSL的检测器在多种编辑方法中表现出色，但在面对未见过的编辑模型时仍存在泛化不足的问题。这一研究不仅推动了语音欺骗检测技术的发展，也为未来构建通用检测器提供了重要参考。

相关研究论文

• Detecting the Undetectable: Assessing the Efficacy of Current Spoof Detection Methods Against Seamless Speech Edits

  NVIDIA, 国立台湾大学, 中央研究院 · 2025年