nilc-nlp/nurc-sp-prosodic-segmentation

NURC-SP韵律分割数据集是一个巴西葡萄牙语音频数据集，专门用于训练韵律分割模型。该数据集基于NURC-SP项目中的CATNA和Minimal Corpus子语料库进行适配，其中韵律边界使用!!!!!标记。数据集包含三个子集：训练集（train）、清洗集（clean）和测试集（test）。训练集和测试集共同涵盖了CATNA和Minimal Corpus子语料库的全部内容；清洗集则是从训练集中移除了极度嘈杂的音频后生成的。测试集设计为男女说话者数量相等，且一半音频为干净音频，另一半含有中等程度的噪声。

The NURC-SP Prosodic Segmentation Dataset is a Brazilian Portuguese audio dataset specifically tailored for training prosodic segmentation models. It is adapted from the CATNA and Minimal Corpus sub-corpora within the NURC-SP project, where prosodic boundaries are marked with !!!!!. The dataset consists of three subsets: the training set (train), the clean set, and the test set (test). The training and test sets collectively cover the entire content of the CATNA and Minimal Corpus sub-corpora; the clean set is generated by removing extremely noisy audio from the training set. The test set is designed with an equal number of male and female speakers, and half of its audio clips are clean while the other half contain moderate levels of noise.

搜集汇总

数据集介绍

构建方式

NURC-SP韵律切分数据集源自巴西葡萄牙语NURC-SP项目中的CATNA与Minimal Corpus子语料库，专为训练韵律切分模型而设计。该数据集将原始语音材料中韵律边界以“!!!!!”标记进行标注，并划分为训练集、洁净集与测试集三部分。训练集与测试集共同覆盖子语料库的全部内容，洁净集则通过从训练集中剔除噪声严重的音频生成。测试集在性别分布上均衡，男女说话人各半，且音频中一半为洁净样本，另一半具有中等程度的噪声干扰。

特点

该数据集包含14196条训练样本、11878条洁净样本与789条测试样本，总计超过43GB的音频数据。每条样本涵盖文件路径、说话人标识、拼接索引、起止时间、持续时间、文本及音频特征。韵律边界以显式标记嵌入文本中，便于模型直接学习语流中的韵律分界模式。测试集的设计兼顾了性别平衡与噪声多样性，为评估模型的泛化能力提供了可靠基础。

使用方法

用户可通过HuggingFace Datasets库加载此数据集，默认配置下可直接访问‘train’、‘clean’与‘test’三个拆分。音频数据以浮点格式存储，文本字段包含韵律边界标签，适用于序列标注或二分类任务。建模时可利用‘Text’与‘audio’特征构建语音-文本联合输入，通过预测‘!!!!!’标记位置实现韵律切分。数据集采用MIT许可证，便于学术研究与商业应用中的自由使用与二次分发。

背景与挑战

背景概述

韵律边界分割是语音学和自然语言处理交叉领域的关键任务，旨在将连续语音流切分为具有韵律意义的单元，对于提升语音合成、语音识别及口语理解系统的自然度与准确性至关重要。NURC-SP韵律分割数据集创建于近年来，由巴西圣保罗大学的研究团队基于NURC-SP项目（“葡萄牙语标准城市言语”项目）中的CATNA与Minimal Corpus子语料库构建而成。该数据集聚焦于巴西葡萄牙语，核心研究问题在于如何利用标注的韵律边界（以“!!!!!”标记）训练稳健的韵律分割模型。作为首个面向巴西葡萄牙语的公开韵律分割资源，该数据集填补了相关领域的数据空白，为低资源语言的韵律建模研究提供了重要基准，对推动多语言语音技术的均衡发展具有显著影响力。

当前挑战

数据集面临的挑战主要体现在以下方面。领域问题层面，韵律边界感知具有高度主观性，不同标注者可能对同一语音片段划分不一致，导致模型难以学习普适的韵律模式；同时，巴西葡萄牙语作为变体丰富的语言，其语调特征受方言、语速和情感状态影响，增加了模型泛化难度。构建过程中，原始语料来源于不同录音环境，部分音频包含背景噪声或录音设备差异引发的失真，需通过“clean”分割集剔除极端噪声样本；此外，韵律边界的标注依赖人工听觉判断，在跨说话人（训练集与测试集混合性别与噪声水平）条件下保持标注一致性面临挑战，且当前数据集仅含约1.5万条训练样本，数据规模限制了对复杂韵律现象的建模能力。

常用场景

经典使用场景

在语音学与自然语言处理交叉领域中，韵律边界检测一直是提升语音合成自然度与语音理解准确性的关键挑战。NURC-SP韵律分割数据集正是为应对这一难题而精心构建的，它聚焦于巴西葡萄牙语，通过标注“!!!!!”标记明确指示韵律边界位置。经典使用场景包括训练端到端的深度学习模型，利用音频特征与文本信息自动预测语音流中的韵律停顿位置，从而精准划分语义单元。研究者可基于该数据集开展序列标注任务，将韵律边界识别视为一个细粒度的分类问题，推动多语言韵律建模技术的进步。

实际应用

在实际产业中，该数据集直接服务于巴西葡萄牙语的语音合成系统优化，帮助企业级文本转语音产品生成更具表现力和自然韵律的合成语音。在智能语音助手、有声读物自动生成以及交互式语音应答系统中，准确的韵律分割可以显著改善用户体验，使机器语音的节奏和重点表达更接近真人对话。此外，该数据集还可用于语音识别系统的后处理环节，通过韵律信息辅助长句切分与语义消歧，提升连续语音识别在实际对话场景中的鲁棒性。

衍生相关工作

基于该数据集，研究人员已衍生出若干经典工作，包括开发基于Transformer的韵律边界预测模型，引入跨模态注意力机制融合声学与文本特征。此外，利用该数据集构建的韵律分割系统被进一步扩展应用于口语对话系统中的情感韵律分析，探索语音中情感表达与韵律中断模式之间的关联。在数据增强方面，相关工作通过该数据集验证了基于生成对抗网络的语音韵律迁移策略，实现在不同说话人和噪声条件下的鲁棒韵律预测，这些成果显著丰富了韵律信息处理的学术生态。