KazEmoTTS

KazEmoTTS数据集由纳扎尔巴耶夫大学智能系统与人工智能研究所创建，专注于哈萨克语情感文本到语音合成。该数据集包含54,760个音频-文本对，总时长74.85小时，涵盖中性、愤怒、快乐、悲伤、害怕和惊讶六种情感。数据集由一名女性和两名男性专业叙述者录制，确保了情感表达的多样性。创建过程包括文本收集、录音和音频-文本对齐验证，旨在提高情感语音合成的质量和自然度，适用于语音情感识别和情感语音转换等领域。

The KazEmoTTS dataset was created by the Institute of Intelligent Systems and Artificial Intelligence at Nazarbayev University, focusing on Kazakh emotional text-to-speech synthesis. This dataset contains 54,760 audio-text pairs with a total duration of 74.85 hours, covering six emotions: neutral, angry, happy, sad, fearful and surprised. It was recorded by one female and two male professional narrators to ensure the diversity of emotional expressions. The creation process includes text collection, audio recording and audio-text alignment verification, aiming to improve the quality and naturalness of emotional speech synthesis, and is applicable to fields such as speech emotion recognition and emotional voice conversion.

搜集汇总

数据集介绍

构建方式

KazEmoTTS数据集的构建过程严谨而系统，首先从多个来源搜集哈萨克语文本材料，包括维基百科的科学与技术文章、知名媒体的新闻内容，以及公共领域的书籍、童话和短语集。所有文本被逐句拆分后，由三位专业叙述者（一位女性和两位男性）在安静室内环境中录制，每位叙述者需以六种情绪（中性、愤怒、快乐、悲伤、恐惧、惊讶）朗读句子，确保情绪标签均匀分布。录制音频后，利用定制版Whisper语音识别系统进行文本对齐验证，通过字符错误率筛查排除发音错误或背景噪音严重的样本，最终保留54,760个高质量音频-文本对，总时长74.85小时。

特点

该数据集的核心特点在于其专为低资源语言哈萨克语设计，填补了情感语音合成领域的空白。数据集包含六种基本情绪类别，覆盖广泛的情感表达需求，且由三位专业叙述者贡献，其中女性叙述者提供34.23小时音频，男性叙述者共提供40.62小时，确保了语音多样性和性别平衡。此外，数据集经过严格的质量控制，包括音频降采样至22.05 kHz、静音去除和归一化预处理，并采用统一的命名规则（叙述者ID_情绪_话语ID），便于检索与扩展。客观评估显示MCD得分在6.02至7.67之间，主观MOS评分达3.51至3.57，验证了其高质量。

使用方法

该数据集的使用方式灵活多样，适用于情感文本转语音（TTS）、语音情感识别（SER）和情感语音转换等任务。用户可从GitHub仓库获取数据集、预训练模型和代码，数据集按叙述者分文件夹组织，音频为22.05 kHz的16位WAV格式，文本为UTF-8编码的TXT文件，文件名包含叙述者ID、情绪和话语ID，便于程序化加载。在TTS应用中，可基于GradTTS架构结合硬标签情绪进行模型训练，利用HiFiGAN声码器生成波形；在情感识别中，可直接使用音频-文本对进行监督学习。数据集采用Creative Commons Attribution 4.0国际许可，支持学术和商业用途。

背景与挑战

背景概述

在情感文本转语音（TTS）领域，生成蕴含丰富副语言特征的高质量合成语音始终是研究难点，而高质量标注数据集的匮乏，尤其对于低资源语言而言，构成了该领域发展的核心瓶颈。针对这一现状，哈萨克斯坦纳扎尔巴耶夫大学智能系统与人工智能研究所的Adal Abilbekov、Saida Mussakhojayeva等研究人员于2024年开创性地构建了KazEmoTTS数据集。该数据集聚焦于哈萨克语这一低资源语言的情感TTS应用，包含54,760条音频-文本对，总时长74.85小时，由一名女性和两名男性专业叙述者录制，涵盖中性、愤怒、快乐、悲伤、恐惧及惊讶六种基础情感类别。KazEmoTTS的发布不仅填补了低资源语言情感TTS数据集的空白，也为语音情感识别、情感语音转换等下游任务提供了宝贵资源，其开源协议进一步促进了相关领域的可复现研究与技术迭代。

当前挑战

KazEmoTTS数据集面临的挑战主要源于两个层面。在领域问题层面，低资源语言哈萨克语的情感TTS研究基础薄弱，缺乏成熟的预训练模型与语言学资源，使得模型需从零开始学习情感与声学特征的复杂映射；同时，情感表达的模糊性与主观性导致合成语音的情感可辨识度受限，实验显示愤怒情感的识别准确率仅达22%，且叙述者间的情感表达差异增加了模型泛化难度。在构建过程层面，数据集创建面临多重困难：需从哈萨克语维基百科、新闻媒体、公共领域书籍等多源异构文本中筛选适合情感朗读的语料；要求专业叙述者在安静环境中精准演绎六种情感，并借助Telegram机器人完成大规模远程录音与质量控制；此外，还需通过定制Whisper语音识别系统对54,760条音频进行文本对齐验证，剔除误读或噪声严重的录音，最终从84,714条初始录音中筛选保留当前规模，过程耗时且需人工审核介入。

常用场景

经典使用场景

在低资源语言的语音合成领域，KazEmoTTS数据集为哈萨克语情感文本到语音（TTS）的研究提供了开创性的基础资源。该数据集包含54,760条音频-文本对，总时长达74.85小时，覆盖中性、愤怒、快乐、悲伤、恐惧和惊讶六种基本情感状态，由三位专业叙述者录制完成。其经典使用场景在于训练情感可控的TTS模型，通过将情感标签作为条件输入，使合成语音能够准确传递目标情感，从而突破传统TTS系统在副语言特征表达上的局限。

衍生相关工作

基于KazEmoTTS数据集，研究者已衍生出多项经典工作。例如，采用GradTTS架构并融入硬标签情感条件的TTS模型，通过扩散概率模型实现了高质量的情感语音生成，其客观评估MCD值介于6.02至7.67之间，主观MOS评分达到3.51至3.57。此外，该数据集启发了EmoDiff与EmoMix等后续模型的研究，这些工作进一步探索了软标签引导与情感强度可控的生成策略，推动了情感语音合成在细粒度控制与语音自然度之间的平衡优化。

数据集最近研究

最新研究方向

在低资源语言情感语音合成领域，KazEmoTTS数据集的问世标志着哈萨克语情感语音研究迈出了开创性的一步。该数据集以74.85小时的高质量音频文本对为核心，涵盖了六种基本情感状态，填补了中亚语系在情感语音资源上的空白。当前前沿研究方向聚焦于利用扩散概率模型与软标签引导技术，实现对合成语音情感的精细调控与强度控制，同时探索多说话人情感表达的一致性建模。这一数据集的出现不仅推动了情感语音合成在低资源语言中的技术突破，也为语音情感识别与情感转换任务提供了关键支撑，其开放获取策略更促进了全球研究者在该领域的协作与创新。

相关研究论文

• KazEmoTTS: A Dataset for Kazakh Emotional Text-to-Speech Synthesis

  智能系统与人工智能研究所 · 2024年