NISQA数据集|语音质量评估数据集|通信网络数据集

NISQA数据集是由柏林工业大学的质量和可用性实验室创建的，用于训练和评估NISQA语音质量预测模型。该数据集包含超过13,000个语音文件，涵盖了多种语音质量维度，如噪声、色彩、不连续性和响度。数据集的创建过程涉及从多个英语语音语料库中提取清洁源语音样本，并模拟各种语音失真，如数据包丢失、带通滤波、不同编解码器和剪辑。此外，还包括了通过Skype和固定电话到移动电话的实时录音，以及在这些录音中故意引入的实际失真。NISQA数据集的应用领域主要集中在评估现代通信网络中的语音质量，旨在解决自动预测语音质量的问题，尤其是在没有清洁参考信号的情况下。

原始信息汇总

NISQA: Speech Quality and Naturalness Assessment

数据集概述

语音质量预测

• NISQA 是一个深度学习模型/框架，用于预测通过通信系统（如电话或视频通话）传输的语音样本的质量。
• 除了整体语音质量外，NISQA 还提供对质量维度（如噪声、色彩、不连续性和响度）的预测，以深入了解质量下降的原因。

TTS 自然度预测

• NISQA-TTS 模型权重可用于估计由语音转换或文本转语音系统（如 Siri、Alexa 等）生成的合成语音的自然度。

训练/微调

• NISQA 可用于训练新的单端或双端语音质量预测模型，支持不同的深度学习架构，如 CNN、DFF、自注意力或 LSTM。
• 提供的模型权重也可用于微调训练模型以适应新数据或进行迁移学习，应用于不同的回归任务（如增强语音的质量估计、说话者相似度估计或情感识别）。

语音质量数据集

• 提供了一个包含超过 14,000 个语音样本的大型语料库，带有主观语音质量和语音质量维度标签。

使用方法

预测

• 提供三种模式来预测语音质量：单个文件、文件夹中的所有文件、CSV 表中的所有文件。
• 选择适当的模型权重（如 nisqa.tar 用于传输语音样本，nisqa_tts.tar 用于合成语音样本）。

训练

• 支持微调/迁移学习和训练新模型。
• 使用 YAML 文件控制训练配置。
• 提供不同的模型结构配置文件，如 train_nisqa_cnn_sa_ap.yaml 和 train_nisqa_double_ended.yaml。

评估

• 训练后的模型可以在给定数据集上进行评估。

数据集详情

NISQA 语料库

• 包含超过 14,000 个语音样本，模拟（如编解码器、丢包、背景噪声）和实时（如手机、Zoom、Skype、WhatsApp）条件。

论文和许可证

• 使用 NISQA 模型或 NISQA 语料库进行研究时，请引用相关论文。
• NISQA 代码基于 MIT 许可证。
• 模型权重基于 CC BY-NC-SA 4.0 许可证。
• NISQA 语料库遵循原始源语音和噪声样本的条款。