ylacombe/parler-tts-mini-v1-fast_speaker_similarity

该数据集包含多个特征，如原始文本、说话者ID、路径、章节ID、ID、信噪比、C50、语音持续时间、语速、音素、STOI、SI-SDR、PESQ、性别、音高标准差、音高均值、音高、噪声、混响、语音单调性、噪声SDR、语音质量PESQ、口音、文本描述、音频、文本、生成音频和相似度等。数据集分为训练集，包含340个样本，总大小为288841772字节，下载大小为186231508字节。The dataset includes multiple features related to speech, such as original text, speaker ID, audio file path, chapter ID, SNR, C50, speech duration, speaking rate, phonemes, STOI, SI-SDR, PESQ, gender, pitch statistics, noise, reverberation, speech monotony, SDR noise, PESQ speech quality, accent, text description, audio file, generated audio, and similarity. These features are used to analyze and evaluate various attributes of speech. The dataset is divided into a training set with 340 samples.

原始信息汇总

数据集概述

数据集信息

特征

• text_original: 字符串类型
• speaker_id: 字符串类型
• path: 字符串类型
• chapter_id: 字符串类型
• id: 字符串类型
• snr: 浮点数类型 (float32)
• c50: 浮点数类型 (float32)
• speech_duration: 浮点数类型 (float32)
• speaking_rate: 字符串类型
• phonemes: 字符串类型
• stoi: 浮点数类型 (float32)
• si-sdr: 浮点数类型 (float32)
• pesq: 浮点数类型 (float32)
• gender: 字符串类型
• utterance_pitch_std: 浮点数类型 (float32)
• utterance_pitch_mean: 浮点数类型 (float32)
• pitch: 字符串类型
• noise: 字符串类型
• reverberation: 字符串类型
• speech_monotony: 字符串类型
• sdr_noise: 字符串类型
• pesq_speech_quality: 字符串类型
• accent: 字符串类型
• text_description: 字符串类型
• audio: 音频类型，采样率为16000
• text: 字符串类型
• generated_audio: 音频类型，采样率为16000
• similarity: 浮点数类型 (float64)

数据分割

• train: 包含340个样本，占用288841772.0字节

数据集大小

• 下载大小: 186231508字节
• 数据集大小: 288841772.0字节

配置

• config_name: default
  • data_files:
    • split: train
    • path: data/train-*

搜集汇总

数据集介绍

构建方式

在语音合成与说话人相似度评估的研究领域中，数据集的构建质量直接决定了模型的性能上限。ylacombe/parler-tts-mini-v1-fast_speaker_similarity数据集以精细化的多维标注为核心构建理念，汇集了340条训练样本。每条样本不仅包含原始文本（text_original）、说话人标识（speaker_id）及音频路径等基础字段，还引入了信噪比（snr）、语音清晰度（c50）、语速（speaking_rate）等声学指标，以及短时客观可懂度（stoi）、尺度不变信噪比（si-sdr）和感知语音质量评估（pesq）等客观质量度量。此外，数据集通过文本描述（text_description）与生成音频（generated_audio）的配对，并计算两者间的相似度分数（similarity），为快速说话人相似度评估提供了标准化基准。

特点

该数据集的核心特质在于其多维度的声学与感知特征标注体系，涵盖了性别（gender）、音高统计量（utterance_pitch_std与utterance_pitch_mean）、音高类别（pitch）、噪声类型（noise）、混响程度（reverberation）及语音单调性（speech_monotony）等主观描述性字段。尤为突出的是，数据集同时提供了原始音频与模型生成音频，并辅以相似度量化指标，使得研究者能够直接评估合成语音在说话人个性保持上的表现。所有音频均统一采用16kHz采样率，保证了数据格式的一致性。这种将客观声学参数与主观感知标签相结合的设计，为深入探究语音质量与说话人相似度之间的内在关联提供了宝贵的数据支撑。

使用方法

使用该数据集时，研究者可通过HuggingFace的datasets库直接加载，默认配置为'train'分割，数据文件以通配符路径'data/train-*'形式组织。每条样本包含丰富的结构化字段，用户可根据研究目标灵活选取特征组合。例如，在说话人相似度建模任务中，可利用'audio'与'generated_audio'字段进行对比分析，并结合'similarity'分数作为监督信号；在语音质量评估研究中，则可聚焦于'snr'、'stoi'、'si-sdr'和'pesq'等连续型指标。音频数据以16kHz采样率存储，便于直接接入常见的语音处理流水线，而文本描述字段（text_description）则支持自然语言驱动的语音生成任务探索。

背景与挑战

背景概述

在文本到语音（TTS）合成领域，生成自然且具有高度说话人相似性的语音始终是核心研究目标。ylacombe/parler-tts-mini-v1-fast_speaker_similarity数据集由HuggingFace社区的研究人员于近期创建，旨在评估和优化快速TTS模型在说话人相似性方面的表现。该数据集围绕Parler-TTS-mini-v1模型展开，通过采集340条语音样本，详细标注了说话人性别、音高、语速、信噪比、混响等声学特征，并计算了生成语音与原始语音的相似性分数。其核心研究问题在于如何在不牺牲生成速度的前提下，提升TTS系统对目标说话人音色和韵律特征的保真度。该数据集为说话人适应性TTS模型的训练与评估提供了标准化基准，对推动低延迟、高相似度的语音合成技术发展具有重要影响。

当前挑战

该数据集所面临的挑战主要来自两个方面。在领域问题层面，当前TTS系统在处理快速生成任务时，常因压缩模型参数或减少计算步骤而导致说话人特征丢失，表现为音色漂移、韵律不自然或副语言信息（如情感、语调）失真，如何在极速推理条件下维持高说话人相似性仍是技术难点。在数据构建过程中，挑战更为显著：首先，优质语音样本的采集成本高昂，需确保音频信噪比、清晰度等指标满足模型训练要求；其次，说话人特征的精细标注（如音高标准差、语速分类、单调性判断）依赖专业工具与人工校验，易引入主观偏差；最后，相似性分数的计算方式（如基于嵌入向量的余弦相似度）需在不同声学条件下保持鲁棒性，避免因背景噪声或混响干扰而低估真实相似度。

常用场景

经典使用场景

在文本到语音（TTS）研究领域，ylacombe/parler-tts-mini-v1-fast_speaker_similarity数据集为评估合成语音与原始说话人之间的声学相似性提供了标准化基准。该数据集汇聚了340条高保真语音样本，每条样本均包含原始音频与TTS系统生成的对应音频，并标注了基于客观指标的相似度分数。研究者常利用此数据集系统性地对比不同TTS架构（如FastSpeech、VITS等）在说话人特征保持上的表现，尤其关注音色、韵律与情感传递的保真度。通过speaker_id、gender、pitch等精细标注，该数据集支持细粒度的跨说话人相似性分析，成为验证语音克隆与个性化TTS模型有效性的关键测试平台。

解决学术问题

该数据集核心解决了合成语音中说话人个性特征保真度的量化评估难题。传统TTS评估多依赖主观听感测试，缺乏可重复的客观标准。通过引入si-sdr、pesq、stoi等语音质量指标与speaker similarity联合分析，数据集为“合成语音是否像目标说话人”这一学术问题提供了多维度的量化答案。它填补了现有语音评估体系中对说话人身份一致性衡量的空白，使得研究者能够分离文本内容与说话人特征的影响，深入探究声学特征（如基频标准差、语速、信噪比）对相似性感知的贡献，推动了说话人嵌入学习与声学特征解耦研究的发展。

衍生相关工作

该数据集衍生了一系列关于说话人相似性建模与TTS评估的前沿工作。研究者基于其speaker similarity标注，开发了基于对比学习的说话人嵌入网络，在保持文本无关性的同时提升相似性预测精度。部分工作利用数据集中丰富的声学描述（如reverberation、speech_monotony）训练多模态TTS控制器，实现了对合成语音风格参数的动态调节。此外，该数据集还催生了面向语音领域的大规模预训练评估基准，如将相似性分数作为奖励信号用于强化学习微调语音合成模型，以及结合generated_audio与原始audio构建语音伪造检测的对抗训练任务，进一步拓展了其在语音安全与合成质量监控中的研究边界。