nb-asr-numerics-balanced

该数据集是一个平衡的合成挪威语博克马尔语数字表达式语料库。它旨在为挪威语自动语音识别（ASR）和文本转语音（TTS）系统提供训练数据，特别侧重于数字表达的发音变体训练。数据集包含59个数字类别，每个类别精确采样20,000个示例，总计超过110万行数据。数据通过模板合成方法生成：基于原始模板数据集pere/nb-asr-numerics-categorized，过滤保留包含标注实体的行，然后为每个目标类别采样模板句子，并用符合特定正则表达式模式的随机数值替换模板中的<NUM>占位符。所有实体边界、起始/结束偏移量和文本值都经过重新计算并与新生成的文本对齐，确保数据一致性。数据集包含多个字段：唯一合成标识符（id）、生成的新句子文本（text）、为TTS训练准备的挪威语拼写发音文本（tts_text）、原始模板文本（masked_text）、决策标签（decision，始终为keep）、对齐的语义实体列表（entities）、源模板的关系约束（constraints）、生成行的主类别（primary_category）以及源模板ID（source_template_id）。其中tts_text字段是专门为TTS系统添加的，它将所有数字表达式、数字和数学表达式按照特定发音指南扩展为挪威语单词，并将科学缩写（如mmol、Hz、µg/l）完全扩展为挪威语文本名称。该数据集通过类别平衡采样和最大化方差生成，特别适用于下游TTS发音变体训练任务。

This dataset is a balanced synthetic Norwegian Bokmål numeric expression corpus. It is designed to provide training data for Norwegian automatic speech recognition (ASR) and text-to-speech (TTS) systems, with a particular focus on training pronunciation variants for numeric expressions. The dataset contains 59 numeric categories, each precisely sampled with 20,000 examples, totaling over 1.1 million rows of data. The data is generated through a template synthesis method: based on the original template dataset pere/nb-asr-numerics-categorized, rows containing annotated entities are filtered and retained, then template sentences are sampled for each target category, and the <NUM> placeholders in the templates are replaced with random numerical values that conform to specific regular expression patterns. All entity boundaries, start/end offsets, and text values are recalculated and aligned with the newly generated text, ensuring data consistency. The dataset includes multiple fields: a unique synthetic identifier (id), the newly generated sentence text (text), Norwegian spelled pronunciation text for TTS training (tts_text), the original template text (masked_text), a decision label (decision, always keep), an aligned list of semantic entities (entities), relational constraints from the source template (constraints), the primary category of the generated row (primary_category), and the source template ID (source_template_id). The tts_text field is specifically added for TTS systems, expanding all numeric expressions, numbers, and mathematical expressions into Norwegian words according to specific pronunciation guidelines, and fully expanding scientific abbreviations (e.g., mmol, Hz, µg/l) into Norwegian textual names. The dataset is generated through category-balanced sampling and variance maximization, making it particularly suitable for downstream TTS pronunciation variant training tasks.

原始信息汇总

数据集概述：Balanced Synthetic Norwegian Bokmål Numerics Dataset

基本信息

• 数据集名称：Balanced Synthetic Norwegian Bokmål Numerics Dataset
• 许可证：CC-BY-4.0
• 语言：挪威语（挪威博克马尔语，语言代码：no, nb）
• 任务类别：文本生成（text-generation）
• 标签：ASR、TTS、挪威语、数字、平衡、合成

数据集规模与构成

• 包含 59 个数字类别，每个类别提供 20,000 个示例
• 总计超过 110 万行 数据

核心特性

TTS发音阅读字段（新增）

• 新增 tts_text 字段，为文本转语音（TTS）朗读而准备
• 所有数字表达式、数字及数学表达式均已扩展为挪威语字母形式（拼写出来的自然词）
• 科学缩写（如 mmol、Hz、µg/l）已完全扩展为挪威语文本名称
• 处理过程使用 google/gemma-4-12B-it 模型，通过 vLLM 在 DGX GPU 上以批处理模式运行，并辅以类别特定的指南

数据来源与合成架构

• 模板来源：pere/nb-asr-numerics-categorized
• 合成方法：
  1. 过滤原始数据集，保留包含标注实体的行
  2. 对每个目标类别，有放回地采样 20,000 个模板句子
  3. 将每个句子模板中的 <NUM> 占位符替换为符合指定正则表达式模式的随机生成值
  4. 所有实体边界、起始/结束偏移量及文本值均被确定性重算并对齐，以匹配新生成的文本
• 目标：生成高度平衡的语料库，为下游TTS发音变体训练最大化方差

数据模式（Schema）

字段名	说明
id	唯一的合成标识符
text	包含合成数字值的新生成句子文本
tts_text	用于TTS训练的挪威语自然发音句子
masked_text	包含 <NUM> 占位符的原始模板文本
decision	始终为 "keep"
entities	对齐的语义实体列表（含起始/结束偏移量、更新后的文本及类别）
constraints	来自源模板的关系约束
primary_category	生成该行所依据的类别
source_template_id	原始模板行的ID

搜集汇总

数据集介绍

构建方式

该数据集基于挪威语书面语（Bokmål）中数字表达的多样化需求而构建，通过整合现有分类语料库并经严格筛选与平衡处理，形成了一套高度结构化的合成数据集。构建过程首先从pere/nb-asr-numerics-categorized模板数据集中过滤出包含标注实体的有效行，随后针对59个数字类别分别从各自模板中随机抽取20,000条句子，并利用对应正则表达式生成随机数值替换模板中的占位符。所有实体边界、偏移量与文本值均经确定性重算，以确保与生成的文本严格对齐，最终形成超过110万行且类别均衡的语料库。

特点

该数据集的核心特点在于其类别平衡性与最大方差设计，每个数字类别均有同等数量的样本，为下游文本转语音（TTS）系统中的发音变体训练提供了理想基础。数据集中特别增设了tts_text字段，将数字、数学表达式及科学缩写（如mmol、Hz、µg/l）按发音规则全量展开为挪威语文字形式，这一处理借助google/gemma-4-12B-it模型在vLLM框架下批量完成，确保了发音标注的准确性与一致性。此外，详细的实体信息与关联约束保留了原模板中的语义关系，提升了数据的可解释性。

使用方法

该数据集适用于语音识别（ASR）与文本转语音（TTS）系统的训练与评估，尤其聚焦于挪威语数字表达的处理能力。使用者可直接利用text字段作为ASR模型的文本输入，或采用tts_text字段作为TTS模型的发音标注，无需额外预处理。entities字段提供了每个句子中数字实体的精确位置与类别标签，便于进行细粒度的错误分析或条件训练。数据集的类别标签与约束信息亦可支持多任务学习或条件生成模型的开发，同时其合成的随机性保证了样本的多样性，避免了过拟合风险。

背景与挑战

背景概述

在自动语音识别（ASR）与文本转语音（TTS）领域，数字表达式的正确处理一直是关键难点。挪威语布克莫尔（Bokmål）作为小语种，缺乏均衡且高质量的数字语料库。为此，挪威研究机构于近期发布了nb-asr-numerics-balanced数据集，该数据集通过合成方法构建，从现有模板语料库出发，为59个数字类别各生成20,000条样本，总计超过110万行。研究团队利用确定性重计算与对齐技术，确保生成的数字实体边界与文本值高度一致。该数据集显著提升了挪威语ASR/TTS系统对数字发音的鲁棒性，为北欧语言数字处理研究奠定了坚实基础。

当前挑战

该数据集首先直面小语种数字表达的领域难题：挪威语数字在口语和书面语中存在复杂变体，如日期、分数、科学单位等不同类别需要特定发音规则，而传统非平衡语料库常导致模型对高频数字过拟合、对低频类别泛化差。构建过程中，团队面临双重挑战：其一，需要设计精确的正则表达式模板以生成各类数字的随机值，同时确保实体偏移量的正确性；其二，利用Gemma模型进行TTS文本扩展时，需为59个类别逐一制定发音指南，并借助vLLM高效批处理，避免大规模合成中的语义错误。

常用场景

经典使用场景

在挪威语自动语音识别与语音合成研究中，数值表达的准确识读始终是一项棘手挑战。该数据集精心构建了一个类别均衡的合成语料库，涵盖59种数字类别，每种包含2万条样本，总计超过110万条语句，专为训练和评估挪威语布尔克莫尔方言的数值语音识别与合成系统而设计。其核心特色在于提供了'tts_text'字段，将所有数字、数学表达式及科学缩写展开为完整的挪威语发音文本，为端到端语音模型提供了精准的发音监督信号，从而显著提升模型对复杂数值表达的鲁棒性。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作。其底层模板源来自pere/nb-asr-numerics-categorized，但通过引入类别均衡采样与确定性对齐策略，开创了合成数据在低资源语言数值处理中的新路径。后续工作借鉴了其'template substitution + random generation'的架构，用于生成其他北欧语言如瑞典语、丹麦语的数值语音训练集。此外，基于该数据集训练的发音变体模型已被集成到Gemma系列语言模型的挪威语适配版本中，为多模态大模型在斯堪的纳维亚市场的本土化部署提供了关键数据支撑。

数据集最近研究

最新研究方向

在挪威语自动语音识别与文本转语音的前沿探索中，nb-asr-numerics-balanced数据集聚焦于数值表达式的发音规范性与类别平衡性，为低资源语言中的数字语音合成开辟了新路径。其通过类别均衡采样策略（每类2万样本）与基于大语言模型（如Gemma-4）的高精度TTS文本扩展，有效应对了挪威语中数字、单位及科学术语的发音歧义问题。这一研究紧密契合当前多语言语音合成对细粒度语义对齐与少数类覆盖的热点需求，尤其是在医疗、科学报告等专业场景下，该数据集显著提升了数字类发音的鲁棒性与自然度，为北欧语系语音技术的实用化落地提供了关键数据支撑。