amaai-lab/DisfluencySpeech

DisfluencySpeech数据集是一个单说话者的高质量英语语音数据集，包含副语言信息。该数据集基于Switchboard-1 Telephone Speech Corpus，模拟了真实的非正式对话。数据集提供了三种不同信息移除级别的转录文本，用于开发能够从文本中预测性合成副语言的文本到语音（TTS）模型。数据集包含音频文件和四种不同级别的转录文本，分别保留了不同的信息。数据集分为训练集、验证集和测试集，分别占数据的90%、5%和5%。

原始信息汇总

数据集概述

数据集名称

DisfluencySpeech Dataset

数据集内容

• 音频特征：单个音频文件。
• 文本特征：
  • transcript_annotated：包含所有非语音事件和断句标注的完整转录。
  • transcript_a：包含所有文本内容，包括非句子元素和重启，移除了笑声和叹息等非语音事件。
  • transcript_b：移除了填充停顿、显式编辑术语和话语标记的transcript_a。
  • transcript_c：移除了错误开始的transcript_b，是最简化的转录。

数据集结构

• 训练集：包含4500个样本，占总数据量的90%。
• 验证集：包含250个样本，占总数据量的5%。
• 测试集：包含250个样本，占总数据量的5%。

数据集大小

• 下载大小：1482840572字节
• 数据集总大小：1490881823.5字节

数据集文件格式

• 音频文件：22,050 Hz的.wav文件
• 元数据文件：metadata.csv，包含每个文件的四种不同转录

许可证

Apache-2.0

搜集汇总

数据集介绍

构建方式

在口语语言处理领域，非流利现象与副语言信息的建模是提升语音合成自然度的关键挑战。该数据集基于Switchboard-1电话语音语料库，由单一发音人在录音棚中再现近10小时富有表现力的口语对话，模拟真实非正式交流场景。为支持文本到语音模型从纯文本中预测性合成副语言信息，数据集提供了四种不同信息剔除程度的转录版本：完整保留非言语事件与不流利标注的transcript_annotated，仅移除笑声、叹息等非言语事件的transcript_a，进一步剔除填充停顿、显式编辑词及话语标记的transcript_b，以及最终移除错误起始的transcript_c。音频统一为22,050 Hz的WAV格式，数据按90%、5%、5%的比例划分为训练集、验证集与测试集。

特点

该数据集的核心特点在于其精细化的多层级转录设计，为副语言与不流利现象的研究提供了阶梯式信息控制框架。每个语音样本对应四种转录，分别保留了从完整副语言标注到最简文本的不同信息粒度，使得研究者能够系统评估信息剔除对语音合成自然度的影响。数据源自真实电话对话，经专业录音棚重建，兼具生态效度与声学质量。单一发音人的设定消除了说话人间变异，便于聚焦于语言内容与副语言特征的关系。此外，数据集规模达近10小时、5000个样本，为训练鲁棒的端到端语音模型提供了充足数据。

使用方法

研究者可依据研究目标选择相应转录版本加载数据。使用HuggingFace Datasets库加载数据集后，每条样本包含audio字段及四个转录字段。对于训练副语言感知的TTS模型，可直接使用transcript_annotated作为输入；若要研究信息剔除对合成效果的影响，则可分别采用transcript_a、transcript_b或transcript_c。数据集预定义了train、validation、test三个划分，便于直接用于模型训练与评估。此外，官方提供了基于各转录的基准TTS模型，可作为性能参考。推荐引用相关论文以支持学术使用。

背景与挑战

背景概述

在语音合成领域，自然对话中的副语言现象（如笑声、叹息、犹豫）与非流利性特征（如填充词、重复、修正）长期被忽视，导致合成语音缺乏真实感与表现力。为填补这一空白，由Kyra Wang与Dorien Herremans于2024年创建的DisfluencySpeech数据集应运而生。该数据集基于Switchboard-1电话语音语料库，由单一说话者模拟再现近10小时的自然对话，并精心标注了三种不同信息去除层次的转录文本。其核心研究问题在于：如何从去除了副语言与非流利性成分的文本中，预测性地合成包含这些自然元素的语音。该数据集为文本转语音（TTS）模型提供了前所未有的训练基准，显著推动了副语言现象可控合成领域的发展，对提升人机交互的自然度具有深远影响。

当前挑战

该数据集所解决的领域挑战在于，传统TTS模型仅能处理流畅文本，无法应对真实对话中普遍存在的副语言与非流利性现象，导致合成语音机械生硬。构建过程中面临的挑战包括：首先，需要从Switchboard语料库中精准识别并标注笑声、叹息、填充词、修正等复杂副语言事件，这要求标注者具备高度一致性与专业素养；其次，设计三种递进式信息去除的转录层次（A、B、C）本身极具挑战性，需在保留语义完整性与去除冗余信息之间取得微妙平衡；最后，单一说话者模拟多角色对话时，如何确保语音的多样性与自然度，避免引入人为表演痕迹，是数据采集环节的核心难点。

常用场景

经典使用场景

DisfluencySpeech数据集的核心应用场景在于为文本到语音合成模型提供包含副语言现象的高质量训练与评估资源。该数据集由单一说话人基于Switchboard语料库模拟近10小时的非正式对话语音，并精心设计了四种不同信息去除程度的转录文本，分别保留全部副语言标注、去除非言语事件、进一步去除填充词与话语标记，以及最终去除错误起始。这一分层设计使得研究者能够系统性地探究语音合成中副语言现象的预测性建模，从而推动生成更具自然韵律与表达力的合成语音。

实际应用

在实际应用中，DisfluencySpeech数据集可直接赋能语音助手、有声读物生成及人机交互系统，使其能够生成带有自然口吃、犹豫及情绪化停顿的对话语音，而非机械化的标准朗读。例如，基于该数据集训练的TTS模型可被集成至智能客服系统，在模拟真实用户对话时自动融入填充词与修正语句，从而提升交互的自然性与用户接受度。此外，该资源亦可用于语音修复与增强场景，辅助模型识别并处理实际语音中的不流畅成分。

衍生相关工作

该数据集已衍生出多项经典工作，包括基于三种不同转录文本的基准TTS模型（Benchmark A、B、C），这些模型分别对应于去除非言语事件、去除填充词与话语标记、以及去除错误起始后的文本输入。研究团队通过对比不同转录条件下的合成语音质量，揭示了副语言信息保留程度与自然度之间的权衡关系。此外，该数据集还激发了关于副语言现象自动标注与预测的研究，推动学界开发更精细的声学特征提取方法，以捕捉笑声、叹息等非言语事件在语音流中的动态变化。