indic-tts-en-hi-60min

一个从YouTube音频构建的精选TTS训练数据集，包含约30分钟印地语和30分钟印度英语，经过转录、质量检查和发布到HuggingFace。数据集中包含2位印地语说话者的110个片段（33.6分钟）和3位印度英语说话者的152个片段（37.6分钟），总计5位说话者、262个片段、71.2分钟音频。

A curated TTS training dataset constructed from YouTube audio, which includes approximately 30 minutes of Hindi and 30 minutes of Indian English content. The dataset has undergone transcription and quality inspection, and is published on HuggingFace. Specifically, it contains 110 audio segments (totaling 33.6 minutes) from 2 Hindi speakers, and 152 audio segments (totaling 37.6 minutes) from 3 Indian English speakers. In total, the dataset encompasses 5 speakers, 262 audio segments, and 71.2 minutes of audio.

原始信息汇总

数据集概述：Indic TTS Dataset Pipeline

本数据集是一个从YouTube音频构建的、经过策划的TTS（文本转语音）训练数据集。数据集的最终版本已发布至HuggingFace平台。

数据集基本信息

• 总时长: 约71.2分钟
• 总音频片段: 262个
• 总说话人数: 5人
• 语言:
  • 印地语 (hi-IN): 2位说话人，110个片段，33.6分钟
  • 印度英语 (en-IN): 3位说话人，152个片段，37.6分钟
• 数据来源: YouTube音频（YouTube标准许可，用于研究/教育目的）

数据处理流程

数据集通过一个包含6个步骤的pipeline生成，所有步骤均基于config.yaml配置运行：

1. 下载: 使用yt-dlp下载音频并保存元数据。
2. 分段: 基于静音检测进行切分，每个片段时长控制在4-29秒。
3. 转写: 使用Sarvam Saaras v3模型进行语音转文字。
4. 归一化: 统一转换为24kHz单声道，-23 LUFS音量标准，并修剪静音。
5. 情感标注: 使用Sarvam LLM（sarvam-30b模型）进行情感标签识别。
6. 上传: 构建并推送数据集至HuggingFace。

质量控制

• 审核机制: 原始片段共334个，其中72个（约21.6%）被拒绝。拒绝原因主要为语句边界截断问题，无音频噪杂或次要声音片段通过审核。
• 人工审核产物: 包含详细的听录笔记（qc/listening_log.md）、统计与修正信息（qc/stats.md）以及按来源分类的拒绝列表（data/segments/*/reject.txt）。

已知发现与优化

• 分段优化: 为避免静音分段在最大时长（29秒）限制下切断单词，采用了soft_split()方法，在边界处回溯最多8秒寻找最近安静点。
• API限制: Sarvam的同步STT API有30秒硬限制，因此将最大分段时长设为29秒。
• 转写误差: 转写错误主要集中在特定领域术语（如英语技术讲座中的SQL术语）。印地语表现更优，但中英混杂句子中英文单词的转写存在不一致。
• 情感分布: 情感标签以中性（54%）和冷静（31%）为主，这与数据源（励志演讲、技术讲座）的演讲风格相符。

设置与运行

• 依赖: 需要Python虚拟环境、requirements.txt中的依赖包以及ffmpeg。
• 环境变量: 需要设置Sarvam API密钥、HuggingFace Token及目标仓库名称。
• 运行命令: 按步骤顺序执行对应脚本，支持通过--dry-run预检最后的上传步骤。

数据集地址

HuggingFace数据集：27hues/indic-tts-en-hi-60min

搜集汇总

数据集介绍

构建方式

该数据集源自YouTube音频，通过构建一套完整的流水线来打造高质量的文本转语音训练数据集。数据采集始于使用yt-dlp工具下载音频并保存元数据，随后基于静音检测进行分段处理，将每个片段控制在4至29秒之间，以规避Sarvam Saaras v3同步语音转写服务的30秒硬性限制。分段后调用Sarvam LLM的sarvam-30b模型进行情感标签标注，最后将所有音频统一转换为24kHz单声道、-23 LUFS标准化响度并去除静音，通过HuggingFace平台发布。整个流程通过配置文件和分步执行脚本驱动，并支持对单个源进行独立处理。

特点

数据集汇集了印地语和印度英语双语言音，总时长约71.2分钟，涵盖5位说话者的262个语音片段。其特色在于质量控制严格，通过软分割策略回溯至多8秒寻找最近的静默点来避免断句截断，使由句子边界切割导致的片段被拒率控制在21.6%以内，且无音频损坏或多说话者重叠问题。情感标签分布自然反映语料来源属性（如技术讲座和励志演讲），以中立和冷静情绪为主导。此外，所有ASR转录错误均被记录并修正，领域特定术语的误识别得到显式追踪。

使用方法

使用者可通过HuggingFace数据集页面直接加载该资源。若需复现或定制构建流程，需在Python虚拟环境中安装依赖并配置Sarvam ASR API密钥与HuggingFace令牌。流水线包含六个依次执行的脚本：下载、分段、转写、归一化、情感标注和数据集上传。运行前应确保系统已安装ffmpeg，并通过配置文件指定数据源。借助提供的质量审查产物（包括监听日志、统计报告和拒绝列表），用户可以深入了解每个片段的来源与处理状态，便于后续训练与评估任务中的筛选与调优。

背景与挑战

背景概述

在语音合成领域，跨语言语料库的构建一直是研究热点，尤其是面向印度次大陆的印地语与印度英语双语语音数据尤为稀缺。该数据集由27hues团队于2023年创建，核心研究人员通过自动化管道从YouTube音频中提取并精炼了约70分钟的语音素材，涵盖5位发言人的262个语音片段。其核心研究问题在于如何高效、低成本地构建高质量的双语文本转语音训练数据集，同时确保音质标准化与情感标注的准确性。该数据集已发布至HuggingFace平台，为低资源语言语音合成研究提供了可复现的基线参考，尤其对印度多语言TTS系统的开发具有显著推动价值。

当前挑战

数据集面临的挑战主要体现在三个方面。首先，在领域问题层面，构建过程需克服语音分割的边界难题：基于静音检测的分段策略在最大时长限制下易导致单词截断，虽通过回溯扫描优化了软切割，但句子级上下文切分仍难以完美解决。其次，ASR转录中暴露领域特异性错误，例如技术讲座中的SQL术语被误识别，以及印地语中夹杂的英语词汇音译不一致，需人工核验修正。此外，情感标签分布天然倾向中性（54%）与平静（31%），对于需要多样情感表达的TTS任务而言，数据源的单调性成为瓶颈，且大语言模型进行情绪推理时需充分分配token预算以完成逻辑链输出。

常用场景

经典使用场景

该数据集最经典的使用场景是作为低资源语言的语音合成（TTS）模型训练数据。它提供了经过精心清洗和标注的印地语与印度英语双语语音片段，总时长约71分钟，涵盖5位说话人。研究者可利用这些高质量、短时长的双语音频，训练能够生成自然流畅的印地语及印度英语语音的TTS系统。数据集中每条片段均经过沉默分割、情感标签标注（如中性、平静）和响度标准化处理，使其可直接用于多说话人TTS或情感可控TTS的实验场景，尤其适合资源受限领域的学术研究。

衍生相关工作

该数据集的衍生工作主要集中在低资源语音数据处理流程的优化与多语言TTS模型研究中。其管道方法启发了后续工作，如利用更先进的分段算法（如基于VAD的切分）减少边界错误，或采用更强鲁棒性的ASR模型（如Whisper）提升转录准确率。情感标注部分则可能衍生出对情感感知TTS系统的研究，探索情感标签在合成语音自然度提升中的角色。此外，该数据集本身可作为基准，支持印地语-英语代码切换TTS、说话人适应性合成等方向的新模型对比与评估，进一步丰富南亚语言语音合成领域的学术成果。

数据集最近研究

最新研究方向

当前，低资源语言语音合成面临语料匮乏与标注成本高昂的双重瓶颈，该数据集通过构建从YouTube音频到高质量双语文语转换训练集的自动化流水线，创新性地融合了静音检测分割、多语种语音识别、音频归一化及大语言模型情感标注等前沿技术，为印地语与印度英语的TTS研究提供了71.2分钟的精细标注语料。其研究方向聚焦于端到端流水线的错误容错机制，尤其是基于回溯搜索的软分割算法对边界截断问题的有效缓解，以及大语言模型在语音情感识别领域的迁移应用。这一工作不仅填补了印度语言资源在开源TTS社区中的空白，更推动了低资源场景下多语言、多说话人、多情感语音数据集的自动化构建范式，具有显著的学术价值与产业应用前景。