nb-asr-eval-withwav-sorted

NB-ASR Eval with WAV Sorted 是一个用于挪威语自动语音识别（ASR）评估的数据集，专门针对挪威语的两种官方变体：博克马尔语（nb）和尼诺斯克语（nn）。该数据集是原始nb-asr-eval-withwav数据集的副本，其样本已按照ASR识别难度（基于词错误率WER）进行了从难到易的排序，旨在方便进行针对性的人工清理和评估。数据集采用Hugging Face AudioFolder格式组织，每个数据划分对应一个独立的目录，包含一个metadata.jsonl元数据文件和引用的WAV音频文件。每个数据样本包含三个字段：audio（本地WAV文件的音频对象）、id（用于派生音频路径的唯一话语标识符）和text（参考转录文本）。数据集包含多个精心划分的测试集和验证集，涵盖了不同的数据来源（如音频书籍、NRK广播、挪威故事等），每个划分的样本数量已在README中明确列出。验证集总样本数超过一万条，测试集总样本数也超过一万条，其中包括一个特殊的testval_fleurs划分，应排除在最终评估运行之外。该数据集主要用于挪威语ASR模型的评估、测试和性能基准测试，其排序特性特别有助于聚焦于模型难以处理的语音样本进行分析和优化。NB-ASR Eval with WAV Sorted is a dataset for Norwegian automatic speech recognition (ASR) evaluation, specifically targeting the two official variants of Norwegian: Bokmål (nb) and Nynorsk (nn). This dataset is a copy of the original nb-asr-eval-withwav dataset, with samples sorted from hardest to easiest based on ASR recognition difficulty (using Word Error Rate, WER), aiming to facilitate targeted manual cleaning and evaluation. The dataset is organized in the Hugging Face AudioFolder format, where each data split corresponds to an independent directory containing a metadata.jsonl file and referenced WAV audio files. Each data sample includes three fields: audio (an audio object for the local WAV file), id (a unique utterance identifier used to derive the audio path), and text (the reference transcription text). The dataset contains multiple carefully divided test and validation sets, covering different data sources (such as audiobooks, NRK broadcasts, Norwegian stories, etc.), with the sample counts for each split clearly listed in the README. The total number of validation samples exceeds ten thousand, and the total number of test samples also exceeds ten thousand, including a special testval_fleurs split that should be excluded from final evaluation runs. This dataset is primarily used for evaluating, testing, and benchmarking Norwegian ASR model performance, with its sorting feature particularly helpful for focusing on speech samples that are difficult for models to process and for analysis and optimization.

原始信息汇总

NB-ASR Eval with WAV 数据集详细概述

该数据集是一个用于挪威语自动语音识别（ASR）评估和测试的数据集，版本为“Hardest-first”，旨在为人工清理工作提供依据。

数据集标识与许可

• 数据集名称：NB-ASR Eval with WAV
• 数据源地址：https://huggingface.co/datasets/NbAiLab/nb-asr-eval-withwav-sorted
• 许可协议：其他（license: other），具体许可文件见 LICENSE 链接。
• 任务类别：自动语音识别（automatic-speech-recognition）
• 语言：挪威语（nb）和新挪威语（nn）
• 配置：默认配置（default），包含多个数据分割（split）。

数据集结构与内容

该数据集作为 Hugging Face 的 AudioFolder 数据集构建，结构如下：

• 存储方式：每个分割（split）在 audio/ 目录下有自己的子目录，包含一个 metadata.jsonl 文件和引用 WAV 音频文件。
• 数据字段：加载后，每个样本包含三个字段：
  • audio（Audio 类型）：本地的 WAV 文件。
  • id（字符串类型）：唯一的语音段标识符，用于推导音频路径。
  • text（字符串类型）：参考转录文本。
• 元数据附加信息（可选）：在评分后，每个元数据行可能包含 original_source_index, priority_rank, asr_wer, asr_cer, asr_hypothesis, 和 asr_model。

数据集的分割与样本数量

数据集包含多个验证（validation）和测试（test）分割，具体样本数量如下：

验证分割（Validation Splits）：

分割名称	样本数量
validation_audio_books_nb	1355
validation_audio_books_nn	1500
validation_long_nb_tale_nb	365
validation_nb_tale_nb	4294
validation_nb_tale_nn	393
validation_nrk_nb	705
validation_nrk_nn	1500
validation_nst	1491
validation_stortinget_nb	749
validation_stortinget_nn	169

测试分割（Test Splits，包括 testval）：

分割名称	样本数量
test_audio_books_nb	1500
test_audio_books_nn	1500
test_fleurs	357
test_nb_tale_nb	4321
test_nb_tale_nn	406
test_nrk_nb	1500
test_nrk_nn	1500
test_nst	1500
test_stortinget_nb	1402
testval_fleurs	163

注意：testval_fleurs 是一个类似验证集的集合，应排除在评估运行之外。

数据集使用说明

• 加载方式：可使用 Hugging Face datasets 库加载，例如： python from datasets import load_dataset ds = load_dataset("NbAiLab/nb-asr-eval-withwav") print(ds["test_audio_books_nb"][0])

• 测试策略：一般测试程序为：每个测试文件使用前 1000 个样本。一些 NN 分割样本数少于 1000，则使用全部可用样本。文件中剩余的样本旨在作为无效样本的替换。

• 测试政策：在项目完成前，不得对任何测试分割运行测试。测试分割仅用于最终发布/不发布决策。禁止在测试集上进行优化。对测试样本的任何删除或替换必须得到团队一致同意。

音频来源与技术说明

• 音频格式：WAV 文件，通过 Git LFS 追踪。
• 原始来源：从共享存储 /nfs/datastore0/nb-asr-audio/wav16mono/（Golem）中生成。
• 生成方式：可通过运行 scripts/materialize_audiofolder.py 脚本从源清单中再现音频文件。材料化报告存储在 audio_materialization_report.json 中。源清单中缺少对应 WAV 文件的行已被移除。

搜集汇总

数据集介绍

构建方式

在挪威语自动语音识别（ASR）研究中，为了构建一个面向评估与验证的高质量数据集，研究人员以NbAiLab/nb-asr-eval-withwav为基础，通过内部ASR模型对每个语音片段进行转录错误率（WER）计算，并依据难度从高到低对各个子集中的样本进行排序，形成了本数据集。所有原始音频路径与元数据布局均得到保留，使得下游工具能够无缝切换。数据集的音频文件来源于共享存储并经由Git LFS追踪，通过脚本materialize_audiofolder.py将原始清单中的WAV文件物化到本地目录，同时移除了缺失对应音频的清单条目，最终生成包含metadata.jsonl与音频文件的AudioFolder结构。

特点

本数据集的一个显著特点在于其“按难度排序”的设计理念，每个子集内的样本均依据ASR识别的困难程度独立排序，便于研究人员针对最棘手样本进行人工核查与模型改进。数据集覆盖了挪威语书面语（nb）与新挪威语（nn）两种语言变体，囊括有声书、新闻报道、议会发言、NST语料等多种领域，共包含22个训练/验证/测试子集，其中测试子集仅用于最终决策，禁止在项目过程中优化。此外，每条元数据可额外记录原始索引、优先级排名、ASR假设及字符错误率等字段，为深入分析提供了丰富维度。

使用方法

用户可通过Hugging Face的datasets库直接加载本数据集，调用load_dataset('NbAiLab/nb-asr-eval-withwav-sorted')即可获取所有子集。每个样本包含audio（WAV音频对象）、id（唯一标识符）和text（参考转录文本）三个字段。对于测试子集，推荐仅使用每个文件的前1000条样本（部分新挪威语子集不足则全量使用），其余样本作为候选替换。验证子集可用于模型调优与交叉验证，而testval_fleurs应排除在正式评估之外。用户如需查看排序后的元数据字段（如asr_wer、priority_rank），可在加载后按需访问相应键值。

背景与挑战

背景概述

NB-ASR Eval with WAV Sorted是挪威国家图书馆与相关研究机构为评估挪威语自动语音识别（ASR）系统性能所构建的标准化评测数据集。该数据集创建于2023年，由NbAiLab团队主导，核心研究问题聚焦于应对低资源语言——挪威语（包括书面挪威语nb与新挪威语nn）的语音识别挑战。数据集整合了有声读物、议会记录、新闻广播及口语故事等多领域音频资源，覆盖了从标准朗读到即兴演讲的多样语音风格。作为挪威语ASR领域的权威基准，该数据集为模型在不同噪声环境与方言变体下的鲁棒性评估提供了统一框架，其难度排序版本尤为突出，推动了针对识别难题的定向优化研究。

当前挑战

该数据集面临多维度挑战。在领域问题层面，挪威语口语语料中普遍存在方言差异、语速变化及背景噪声，严重制约模型对细粒度声学特征的捕捉能力，尤其新挪威语语料稀缺加剧了数据不平衡问题；同时，长尾词汇与专业术语（如议会辩论术语）的识别准确率仍待突破。在构建过程中，原始音频需从共享存储系统筛选并统一转为16kHz单声道WAV格式，期间需移除缺失文件，导致采样比例失真；跨来源元数据字段的整合（如文本错词率得分与假设对齐）及难度排序算法的可靠性验证，成为保障评测公正性的核心工程挑战。

常用场景

经典使用场景

在挪威语自动语音识别（ASR）研究领域，NB-ASR Eval with WAV Sorted数据集为评估与优化模型性能提供了极具价值的测试基准。该数据集精心整合了来自有声书、新闻广播、议会演讲及标准测试集（如Fleurs）等多种场景的语音数据，覆盖挪威语的两大书面语言变体——书面挪威语（nb）和新挪威语（nn）。研究者可将其用于衡量ASR系统在不同口音、语速、背景噪音及语言变体下的词错误率（WER）和字符错误率（CER），尤其适用于检验模型在长尾分布样本上的鲁棒性，是挪威语语音技术评测不可或缺的标准化测试套件。

解决学术问题

该数据集直击低资源语言ASR研究中的核心痛点，即缺乏大规模、多领域、双变体的标准化评测资源。其独特之处在于按ASR难度对样本进行降序排列，并附带WER、CER及假设文本等元数据，这使得研究者能够系统性地分析模型在困难样本（如罕见词汇、嘈杂环境或复杂语法结构）上的失败模式。通过提供精细化的难度分级，该数据集解决了传统评测集中简单样本主导、难以定位模型弱项的学术难题，从而推动了对ASR错误根源的深入剖析，并促进了针对性的鲁棒性提升策略的研发，对挪威语乃至其他低资源语言的语音研究具有里程碑式的意义。

衍生相关工作

围绕NB-ASR Eval with WAV Sorted数据集衍生出的经典工作主要聚焦于难度感知的ASR模型改进与评测方法。受其按WER排序的设计启发，研究者提出了基于主动学习的训练策略，优先标注与训练高难度样本以提升模型效能。另一类代表性成果是利用该数据集中的元数据（如优先级排名）开发新的评估指标，如加权WER，它能够更公平地反映模型在复杂样本上的表现。此外，该数据集也催生了面向挪威语的多任务学习框架，通过同时在nb和nn变体上联合训练，显著提升了跨变体语音识别的泛化能力，这些工作共同推动了北欧语言语音技术的标准化评测与创新。