THAI Speech Emotion Recognition (THAI-SER) corpus|语音识别数据集|情感分析数据集

THAI-SER是一个包含41小时36分钟（27,854个语句）的泰语语音情感识别语料库，来自100个在不同录音环境（Zoom和两个录音室设置）中制作的录音。录音包括剧本和即兴表演，由200名专业演员（112名女性和88名男性，年龄在18至55岁之间）表演，并由专业导演执导。有五种主要情感：中性、愤怒、快乐、悲伤和沮丧，在录音时分配给演员。语句使用众包方式标注情感类别。为了控制标注过程的质量，我们还设计了一个广泛的过滤和质量控制方案，以确保大多数协议得分保持在0.71以上。我们使用两个指标评估我们标注的语料库：标注者间可靠性和人类识别准确性。标注者间可靠性得分使用Krippendorff的alpha计算，我们的语料库在过滤后实现了0.692的alpha得分，高于0.667的建议值。对于人类识别准确性，我们的语料库在过滤后得分高达0.772。我们还提供了在语料库上训练的模型的结果，并在语料库内和跨语料库设置上进行了评估。该语料库在Creative Commons BY-SA 4.0许可下公开发布，以及我们用于实验的代码。

AI搜集汇总

数据集介绍

构建方式

THAI-SER语料库的构建采用了多环境、多模态的录音策略，包含专业演员在脚本化和即兴表演下的语音数据。录音环境涵盖两种工作室设置（隔音与非隔音）及Zoom在线会议场景，通过五支专业麦克风和多角度摄像机同步采集音频视频。数据标注采用众包平台结合三重质量控制机制（多数表决、黄金标准问题、一致性检验），并引入预测试筛选合格标注者，最终通过Krippendorff's alpha系数（0.692）验证标注可靠性。

特点

该数据集的核心特点体现在三方面：其一，文化特异性，作为首个大规模泰语情感语音库，填补了东南亚语言在SER研究的空白；其二，多维度控制，包含200名专业演员（18-55岁）在5种基础情感（中性、愤怒、快乐、悲伤、沮丧）下的27,854条语音，总时长41.6小时；其三，环境多样性，同时覆盖高保真工作室录音与真实噪声环境（Zoom）数据，并区分脚本化与即兴会话两种表演形式，为模型鲁棒性研究提供理想素材。

使用方法

使用THAI-SER需遵循标准化流程：建议优先筛选标注一致性≥0.71的样本（占总量51%），以确保数据质量。基准实验推荐8折说话人独立交叉验证，输入特征采用64维梅尔滤波器组系数（25ms帧长，10ms帧移），配合VTLP和CMVN预处理。模型评估需同时报告加权准确率（全体样本）和非加权准确率（类别平均），并可通过对比脚本化/即兴子集或跨语料库（如IEMOCAP）测试探究泛化能力。数据集支持软标签训练，允许利用多标注者概率分布提升模型性能。

背景与挑战

背景概述

THAI Speech Emotion Recognition (THAI-SER) corpus是首个针对泰语语音情感识别的大规模数据集，由泰国Vidyasirimedhi科学技术研究所和朱拉隆功大学的研究团队于2021年创建。该数据集包含41小时36分钟的语音数据（27,854条语音片段），涵盖了五种基本情感（中性、愤怒、快乐、悲伤和沮丧），并由200名专业演员在两种录音环境（Zoom和录音棚）中进行录制。THAI-SER的创建填补了东南亚语言在语音情感识别领域的空白，为跨文化和跨语言的情感计算研究提供了重要资源。

当前挑战

THAI-SER数据集面临的主要挑战包括：1) 领域问题的挑战：泰语作为一种声调语言，其声学特征与非声调语言（如英语）在情感表达上存在显著差异，增加了情感识别的难度；2) 构建过程中的挑战：数据收集过程中需要处理录音环境（如Zoom和录音棚）的差异，确保语音质量和情感表达的一致性；3) 标注质量的挑战：通过众包平台进行情感标注时，需设计严格的过滤和质量控制方案以确保标注的一致性（如多数同意分数需高于0.71）。此外，情感标注中还存在模糊性（如沮丧与愤怒、悲伤的混淆），需通过专家指导和多次验证来解决。

常用场景

经典使用场景

THAI-SER语料库在语音情感识别（SER）领域具有广泛的应用场景，尤其在跨文化和多语言情感识别研究中表现突出。该数据集通过专业演员在脚本化和即兴表演中录制的情感语音，涵盖了五种基本情感（中性、愤怒、快乐、悲伤和沮丧），为研究者提供了丰富的语音情感数据。其经典使用场景包括情感识别模型的训练与评估，特别是在泰语这一非西方语言中的情感表达研究。

解决学术问题

THAI-SER语料库解决了语音情感识别领域中的多个关键学术问题。首先，它填补了泰语情感语音数据集的空白，为非西方语言的情感识别研究提供了重要资源。其次，通过严格的众包标注和质量控制机制，该数据集确保了标注的高可靠性（Krippendorff's alpha ≥ 0.692），为情感标注的标准化提供了参考。此外，数据集还探讨了不同表演风格（脚本化与即兴）和录音环境（工作室与Zoom）对情感识别的影响，为跨领域研究提供了实验基础。

衍生相关工作

THAI-SER语料库的发布推动了多项相关研究工作的开展。基于该数据集，研究者可以探索跨语料库的情感识别模型泛化能力，如与IEMOCAP等西方语言数据集的对比研究。此外，该数据集还启发了对低资源语言情感识别方法的研究，如元学习和课程学习在情感识别中的应用。在技术层面，THAI-SER为多模态大语言模型（如Qwen-Audio）的情感理解能力提升提供了重要数据支持。