sarvam-indian-tts-60min

Sarvam Indian TTS数据集是一个专门为文本转语音（TTS）模型训练准备的印度英语和印地语/混合代码语音数据集。该数据集基于手动审核的YouTube视频源构建，旨在提供高质量、标准化的语音样本，并包含丰富的元数据以确保可审计性。数据集包含188个语音片段，总时长约61.11分钟，其中印度英语（en-IN）81个片段（30.70分钟），印地语/混合代码（hi-IN）107个片段（30.41分钟）。所有音频均为单声道24kHz WAV格式，并经过响度标准化处理（目标-23 LUFS）。每个样本包含音频波形、规范化文本转录、语言标签、检测到的情感标签（如快乐、悲伤、愤怒、中性等）、说话风格标签（正式、对话等）、风格描述文本、情感检测状态/置信度/证据字段、信噪比（SNR）指标、说话人识别信息以及原始YouTube源URL。数据集通过多阶段处理管道生成，包括YouTube下载、ASR转录、说话人分离与验证、语音活动检测、韵律边界填充和质量过滤等步骤。情感和风格标签为启发式自动生成，建议作为审查辅助而非绝对真实标签。该数据集适用于印度英语和印地语TTS模型开发、多语言语音合成研究以及带有情感/风格属性的语音生成任务。

The Sarvam Indian TTS dataset is a specialized speech dataset for Indian English and Hindi/mixed-code text-to-speech (TTS) model training. It is built from manually reviewed YouTube video sources, aiming to provide high-quality, standardized speech samples with rich metadata for auditability. The dataset includes 188 speech clips totaling approximately 61.11 minutes, with 81 clips in Indian English (en-IN) (30.70 minutes) and 107 clips in Hindi/mixed-code (hi-IN) (30.41 minutes). All audio is in mono 24kHz WAV format and has undergone loudness normalization (target -23 LUFS). Each sample contains audio waveforms, normalized text transcriptions, language labels, detected emotion labels (e.g., happy, sad, angry, neutral), speaking style labels (formal, conversational, etc.), style description text, emotion detection status/confidence/evidence fields, signal-to-noise ratio (SNR) metrics, speaker identification information, and original YouTube source URLs. The dataset is generated through a multi-stage processing pipeline, including YouTube downloading, ASR transcription, speaker separation and verification, voice activity detection, prosodic boundary padding, and quality filtering. Emotion and style labels are heuristically auto-generated and are recommended for use as review aids rather than absolute ground truth. This dataset is suitable for Indian English and Hindi TTS model development, multilingual speech synthesis research, and speech generation tasks with emotional/style attributes.

原始信息汇总

数据集概述

Sarvam Indian TTS Dataset 是一个面向文本转语音（TTS）任务构建的印地英语和印地语/混合语码语音数据集，总时长约61分钟，包含188条语音片段。

基本属性

• 语言: 英语（en-IN）、印地语/混合语码（hi-IN）
• 许可: 其他（原始音频受YouTube/来源权利约束，不默认开放许可）
• 任务: 文本转语音（TTS）
• 标签: Indian English、Hindi、TTS、speech dataset、emotion

数据集统计

子集	片段数	时长	平均代理信噪比（dB）
印地英语（en-IN）	81	30.70分钟	39.34
印地语/混合语码（hi-IN）	107	30.41分钟	39.54
总计	188	61.11分钟	39.45

所有最终片段为单声道24 kHz WAV文件。

数据内容

每个样本包含以下字段：

• audio: 24kHz波形
• text: 归一化转录文本
• language: en-IN 或 hi-IN
• emotion: 检测到的情感（如快乐、悲伤、愤怒、中性等）
• style: 说话风格（如正式、对话等）
• style_description: 风格文本描述
• emotion_status, emotion_confidence, emotion_evidence: 启发式情感标签的审计字段
• snr_db: 信噪比（越高越好）
• speaker_id / speaker_key: 用于说话人验证的说话人身份
• source_url: 原始YouTube URL

质量说明

• 前后对比分析显示主要进行了格式/响度标准化，而非降噪提升。
• 匹配的原始/最终片段对平均代理信噪比从39.45 dB变为39.20 dB。
• 96.8%的最终片段响度接近-23 LUFS目标。
• 情感标签为启发式v2标签，应作为审查辅助而非真实人工情感标注。

代码示例

python from datasets import load_dataset ds = load_dataset("Rushabh3/sarvam-indian-tts-60min")

获取高信噪比的英语训练样本

high_quality = ds["english_train"].filter(lambda x: x["snr_db"] > 20.0)

搜集汇总

数据集介绍

构建方式

该数据集专为文本到语音任务设计，构建过程融合了多阶段精细化的数据处理流程。从YouTube视频经yt-dlp工具下载后，依次通过Sarvam Saaras v3进行自动语音识别与说话人日志，提取主导说话人，再经由Silero VAD进行微分割，并结合动态韵律边界填充等技术。进一步通过ECAPA-TDNN说话人验证、信噪比与时长质量过滤，以及基于启发式规则的情感与风格标注，最终生成24kHz单声道WAV格式的音频片段，并附带完整溯源元数据以确保可审计性。

特点

该数据集汇聚了印度英语与印地语/语码混合语音片段，总时长约61分钟，涵盖188个剪辑，平均信噪比高达39.45 dB，音频质量表现优异。其独特之处在于每一样本均包含情感、风格及其置信度与证据字段，为情感语音合成提供了富有价值的标注资源。同时，数据集通过说话人验证与标准化响度处理，确保了前后一致的高保真度，适合用于构建多语种、带情感的语音合成模型。

使用方法

用户可通过Hugging Face的datasets库便捷加载该数据集，核心接口为`load_dataset('Rushabh3/sarvam-indian-tts-60min')`。加载后，可依据语言子集进行划分，利用`filter`方法按信噪比阈值筛选高纯净样本，或根据情感与风格标签进行条件提取，以满足特定训练场景需求。需注意，底层音频版权仍归属原始来源，使用时须尊重相关权利约束。

背景与挑战

背景概述

文本转语音（TTS）技术是人工智能领域的重要分支，旨在将文本信息转化为自然流畅的语音信号，其在人机交互、辅助阅读及语音助手等应用场景中具有关键价值。然而，现有TTS数据集多聚焦于标准美式或英式英语，对印度英语、印地语及其代码混合语音的覆盖极为有限，语言多样性及情感表达维度的缺失制约了模型的泛化能力。为弥合这一研究空白，由Sarvam AI团队于近期构建的**sarvam-indian-tts-60min**数据集应运而生。该数据集从经过人工审核的YouTube视频中提取语音片段，经多阶段流水线处理（包括语音活动检测、说话人分离、信噪比过滤及情感标签生成），最终汇集61分钟的高质量音频，包含印度英语和印地语/代码混合语音两类子集，为区域语种TTS模型的开发提供了标准化训练基础。其开创性的情感与风格标注（如快乐、悲伤、正式、对话等）更拓展了数据集在情感语音合成中的应用潜力，推动了跨语言TTS研究向细粒度、多模态方向演进。

当前挑战

该数据集在构建与应用过程中面临多重挑战。首先，在领域问题层面，印度英语和印地语语音具有显著的口音多样性、语速差异及代码混合特性，传统TTS模型难以捕捉其韵律与音色特征，导致合成语音的自然度和可懂度不足；同时，情感标注依赖启发式算法而非人工审核，情感标签的准确性及与语音特征的对应关系存在不确定性，限制了情感力度的精确建模。其次，在数据集构建过程中，挑战表现为音频来源的异构性——YouTube视频的录音环境差异大，各类噪声与混响干扰增加了语音分离和清洗的难度；尽管多阶段流水线通过信噪比过滤和响度标准化（-23 LUFS）提升了质量，但去噪步骤未带来实质性增益，提示低噪声环境下的重采样与格式统一可能存在信息损耗。此外，版权合规性问题使数据集无法以宽松许可发布，用户在扩展或商用场景需逐一审查源视频权利，增加了实际部署的复杂性。

常用场景

经典使用场景

该数据集在文本到语音（TTS）合成领域具有经典应用价值，尤其聚焦于印度英语与印地语混合语境的语音生成任务。研究人员可利用其24kHz单声道WAV音频及标准化转录文本，结合动态韵律边界填充（DPBP）处理后获得的高质量语音片段，训练端到端语音合成模型，如Tacotron2、FastSpeech或VITS。数据集内置的情感与风格标签（如开心、悲伤、正式、对话）拓展了其使用边界，支持情绪感知与控制性TTS系统的开发，为多语言、多风格的语音合成研究提供了精细化的训练基准。

实际应用

实际应用中，该数据集可用于构建面向印度市场的智能语音助手、有声读物生成器和多语言客服系统。在呼叫中心场景中，模型可利用情感标签调整回答语调，提升用户亲和力与体验；在教育领域，能够合成印地语与英语混合的口语教学内容，助力语言学习平台提供更自然的发音示范。此外，24kHz的高清采样率和标准化响度控制确保了语音在车载系统、智能音箱等设备上的播放一致性，直接提升了商业化部署的稳定性。

衍生相关工作

基于该数据集，学术界已经衍生出若干创新研究思路。例如，有工作利用ECAPA-TDNN提取的说话人嵌入进行语音克隆与跨语言声音转换；另有研究基于动态韵律边界填充技术，探索了韵律结构对语音自然度影响的定量分析方法。数据集提供的启发式情感标签也激发了弱监督情感TTS模型的设计，研究者通过置信度与依据字段筛选高置信度样本，训练出情感分类器来指导语音风格迁移。这些衍生工作进一步推动了印度语言语音合成理论的纵深发展。