NbAiLab/nb-asr-qwen3whisperxagreement-v1

该数据集是挪威语语音的词级强制对齐训练数据，通过保留两个独立对齐器（WhisperX和Qwen3）在严格容忍度内达成一致的示例来创建。数据集包含702,067个从NB-ASR挪威语音频语料库中提取的语音片段，每个记录将音频文件与词级强制对齐配对，格式适用于训练预测时间戳（如<timestamp>）的序列模型（例如Qwen3微调）。时间戳以80毫秒分辨率的整数帧索引表示（12.5帧/秒），与对齐过程中使用的特征帧率匹配。数据创建过程涉及运行两个强制对齐系统，并比较词边界：仅当每个词的开始时间差不超过2帧（≤160毫秒）且结束时间差不超过5帧（≤400毫秒）时，才保留对齐对；如果两个系统的词数不同，则直接拒绝样本。数据集记录为JSON对象，包含id（唯一片段标识符）、audio（16 kHz单声道WAV文件的绝对路径）、text（带有<timestamp>占位符标记的词序列）和labels（帧索引标签，词位置为-100，<timestamp>位置为开始帧和结束帧）。数据集旨在用于监督微调从音频预测词级时间戳的模型，双重一致过滤器提供比单独使用任一对齐器更高置信度的地面真实边界。源音频来自NB-ASR挪威语广播和议会语音语料库，文件为16 kHz单声道WAV格式。This dataset contains word-level forced alignment training data for Norwegian speech, produced by keeping only examples where two independent aligners — WhisperX and Qwen3 (Lunde forced aligner) — agree within a tight tolerance. It includes 702,067 speech segments drawn from the NB-ASR Norwegian audio corpus. Each record pairs an audio file with a word-level forced alignment in a format suitable for training a <timestamp>-predicting sequence model (e.g., Qwen3 fine-tuning). Timestamps are represented as integer frame indices at 80 ms resolution (12.5 frames/sec), matching the feature-frame rate used during alignment. The data creation process involved running two forced-alignment systems and comparing word boundaries: alignments are kept only when every word satisfies a start tolerance of ≤2 frames (≤160 ms) and an end tolerance of ≤5 frames (≤400 ms); samples with different word counts are rejected outright. Each record is a JSON object with fields: id (unique segment identifier), audio (absolute path to 16 kHz mono WAV file), text (words interleaved with <timestamp> placeholder tokens), and labels (frame-index labels with -100 at word positions and start/end frames at <timestamp> positions). The dataset is intended for supervised fine-tuning of models that predict word-level timestamps from audio, with the double-agreement filter providing higher-confidence ground-truth boundaries. Source audio originates from the NB-ASR Norwegian broadcast and parliamentary speech corpus, stored as 16 kHz mono WAV files.

搜集汇总

数据集介绍

构建方式

该数据集源自挪威语NB-ASR音频语料库，采用了一种创新的双重对齐一致性筛选机制来构建高质量的词级强制对齐训练数据。具体而言，研究团队独立运行了WhisperX与Qwen3（Lunde强制对齐器）两套对齐系统，将二者输出的单词边界均转换为80毫秒分辨率的帧索引后进行比较。仅当每个单词的起始帧差异不超过2帧（≤160毫秒）、结束帧差异不超过5帧（≤400毫秒），且单词数目完全一致时，该样本才被保留。经过严格筛选，从163万余个候选片段中最终保留了约70.2万个高质量样本，通过率约为42.9%。

特点

本数据集的核心特性在于其提供了一种高置信度的词级时间戳标注，通过双重对齐器共识机制有效降低了单一声学模型可能引入的系统性偏差。每个数据记录包含音频路径、文本及与令牌对齐的标签序列，时间戳以80毫秒的帧索引形式呈现，便于序列模型直接学习。标签序列采用-100标记忽略单词位置，仅在<timestamp>占位符处标注起始和结束帧索引，这种设计紧密契合了当前先进的预测时间戳的序列模型（如Qwen3）的微调需求，为挪威语语音识别中的时间戳预测任务提供了可靠的训练基础。

使用方法

该数据集主要面向需要预测单词级时间戳的音频序列模型的监督微调任务。使用时，用户需加载16kHz单声道WAV格式的音频文件，并按照记录中的text字段将单词与<timestamp>占位符交织排列的文本作为输入序列，同时以labels字段中的帧索引标签作为监督信号。在模型训练过程中，-100标签对应的位置不参与损失计算，模型仅需学习在<timestamp>位置输出正确的起始和结束帧索引。数据集以JSON格式存储，每条记录均包含完整的音频路径和结构化标注信息，可便捷地接入主流深度学习框架进行数据加载与预处理。

背景与挑战

背景概述

在语音识别与强制对齐领域，词级时间戳的高精度标注对于提升下游任务（如说话人日志、语音合成）性能至关重要。挪威语音数据集NB-ASR虽提供了丰富的广播与议会语音资源，但现有对齐工具（如WhisperX与Qwen3）各自存在偏差，单一系统生成的时间边界易受噪声、口音或模型架构差异影响。针对此问题，挪威语言技术研究团队于2024年创建了nb-asr-qwen3whisperxagreement-v1数据集，其核心创新在于利用双对齐器一致性筛选策略，从超过160万候选片段中精选约70万高质量对齐样本。该数据集通过苛刻的帧级容差（起始偏移≤2帧、终止偏移≤5帧）和词数匹配过滤，将对齐错误率降至最低，为挪威语时间戳预测模型提供了可靠监督信号，显著推动了低资源语言语音处理技术的发展。

当前挑战

该数据集所应对的领域挑战在于：语音对齐任务中，单一工具生成的词边界常因模型置信度不足、语速变化或背景噪声而产生显著误差，导致下游训练模型无法稳定学习时间序列特征。构建过程中面临的核心困难包括：首先，两个独立系统（WhisperX与Qwen3）的原始对齐格式与帧率不同，需统一转换为80毫秒分辨率的帧索引并实现坐标级比对；其次，容差阈值需在精度与数据量间权衡，过严则丢弃大量可能正确的样本（仅保留42.9%），过宽则引入噪声；最后，音频来源多样（广播与议会语音），不同录音条件与说话风格加剧了对齐结果的不一致性，迫使开发者设计高效的自动过滤管线以剔除语义匹配失败（如词数不一致）的异常片段。

常用场景

经典使用场景

该数据集专为挪威语语音的单词级强制对齐任务而设计，核心应用场景在于训练能够从音频中精确预测单词时间戳的序列模型。通过将单词与特定时间帧关联，研究人员可利用该数据集微调如Qwen3等架构的模型，使其在音频序列中准确插入<timestamp>占位符，从而实现对语音信号中每个单词起始与结束位置的细粒度定位。这种对齐能力对于高精度语音分析至关重要，尤其适用于需要逐词时间标注的挪威语语料处理。

衍生相关工作

该数据集的构建思路与过滤策略已衍生出多项相关研究工作。其中，Qwen3模型在微调后可直接输出带有时间戳的转录文本，形成了端到端的时间戳预测基线。基于此高置信度数据集，研究者进一步探索了多任务学习范式，将语音识别与强制对齐联合优化，提升了模型在噪声环境下的鲁棒性。此外，与该数据集配套使用的WhisperX和Lunde强制对齐器，以及一致性过滤工具链，也成为了后续挪威语语音研究中构建其他高质量对齐数据的参考范例。

数据集最近研究

最新研究方向

在挪威语语音处理领域，该数据集聚焦于基于多系统一致性的强制对齐技术，通过融合WhisperX与Qwen3（Lunde对齐器）的独立对齐结果，筛选出高置信度的词级时间戳标注数据。这一前沿研究方向响应了语音识别中对精确时序建模的迫切需求，特别是在弱监督或伪标签场景下，通过交叉验证机制有效抑制单系统对齐误差，为训练具备时序预测能力的端到端模型（如Qwen3微调）提供了可靠监督信号。该数据集遴选出约70万条经过严格容差过滤（起始帧偏差≤160ms、结束帧偏差≤400ms）的样本，直接服务于挪威广播与议会语音语料库中复杂声学环境下的词边界检测，其双系统共识策略显著提升了标注质量，为低资源语言的高精度语音识别与对齐研究树立了方法论标杆。