nb-asr-numerics-balanced-disfluent

Balanced Synthetic Norwegian Bokmål Numerics Dataset 是一个合成、类别平衡的挪威语博克马尔语句子语料库，专门包含数字表达式。该数据集旨在为下游文本转语音（TTS）发音变体训练提供最大化方差的语料。数据来源于pere/nb-asr-numerics-categorized数据集中的模板，通过筛选包含标注实体的原始行，为59个目标数字类别中的每一个，有放回地采样10,000个模板句子。随后，将句子模板中的`<NUM>`占位符替换为符合每个类别指定正则表达式模式的随机生成数值，并确定性地重新计算和调整所有实体边界、起始/结束偏移量以及文本值，以匹配新生成的文本。最终生成了一个高度平衡的语料库，总计590,000行数据。数据集包含以下字段：`id`（唯一合成标识符）、`text`（包含合成数值的新生成句子文本）、`masked_text`（带有`<NUM>`占位符的原始模板文本）、`decision`（始终为keep）、`entities`（对齐的语义实体列表，包含其起止偏移、更新后的文本和类别）、`constraints`（来自源模板的关系约束）、`primary_category`（生成此行的类别）、`source_template_id`（原始模板行的ID）。该数据集适用于文本生成任务，特别是与自动语音识别（ASR）和TTS相关的挪威语数字处理应用。

Balanced Synthetic Norwegian Bokmål Numerics Dataset is a synthetic, category-balanced corpus of Norwegian Bokmål sentences specifically containing numeric expressions. The dataset is designed to provide maximally varied corpora for downstream text-to-speech (TTS) pronunciation variant training. The data originates from templates in the pere/nb-asr-numerics-categorized dataset. By filtering original rows containing annotated entities, 10,000 template sentences were sampled with replacement for each of the 59 target numeric categories. Subsequently, the `<NUM>` placeholders in the sentence templates were replaced with randomly generated numerical values that conform to the regular expression patterns specified for each category, and all entity boundaries, start/end offsets, and text values were deterministically recalculated and adjusted to match the newly generated text. This ultimately produced a highly balanced corpus totaling 590,000 rows. The dataset includes the following fields: `id` (unique synthetic identifier), `text` (newly generated sentence text containing synthetic numerical values), `masked_text` (original template text with `<NUM>` placeholders), `decision` (always keep), `entities` (aligned list of semantic entities including their start/end offsets, updated text, and categories), `constraints` (relational constraints from the source template), `primary_category` (category that generated this row), `source_template_id` (ID of the original template row). The dataset is suitable for text generation tasks, particularly for Norwegian numeric processing applications related to automatic speech recognition (ASR) and TTS.

原始信息汇总

数据集概述

数据集名称: Balanced Synthetic Norwegian Bokmål Numerics Dataset
许可证: CC-BY-4.0
语言: 挪威语 (no, nb)
任务类型: 文本生成 (text-generation)
标签: ASR、TTS、挪威语、数字、平衡、合成

---

数据集规模与类别平衡

• 包含 59 个数字类别，每个类别提供 20,000 个样本。
• 总行数超过 110 万，类别间样本数量均衡。

---

主要更新：TTS 发音朗读字段

新增 tts_text 字段，用于文本转语音 (TTS) 朗读：

• 所有数字表达式、数字和数学表达式被展开为挪威语拼写形式，遵循各类别的发音指南。
• 科学缩写（如 mmol、Hz、µg/l）被完整展开为挪威语文本名称。
• 处理过程使用 google/gemma-4-12B-it 模型，基于类别特定指南，在 DGX GPU 上以批量模式运行。

---

数据来源与合成架构

• 模板来源: pere/nb-asr-numerics-categorized
• 合成方法:
  • 过滤原始数据集，保留包含注释实体的行。
  • 对每个目标类别，从句子模板中有放回地抽取 20,000 个样本。
  • 将每个句子模板中的 <NUM> 占位符替换为符合类别正则表达式模式的随机值。
  • 所有实体边界、起始/结束偏移量和文本值均经过确定性重新计算，并与新生成的文本对齐。
• 最终获得高度平衡的语料库，为下游 TTS 发音变体训练提供了最大化的变异性。

---

数据字段说明

字段名	说明
id	唯一的合成标识符
text	包含合成数字值的新生成句子文本
tts_text	适用于 TTS 训练的书面自然挪威语发音形式
masked_text	带有 <NUM> 占位符的原始模板文本
decision	始终为 "keep"
entities	对齐的语义实体列表，包含起始/结束偏移量、更新后的文本和类别
constraints	来自源模板的关系约束
primary_category	该行生成的类别
source_template_id	原始模板行的 ID

搜集汇总

数据集介绍

构建方式

该数据集名为nb-asr-numerics-balanced-disfluent，是一个面向挪威语书面语（Bokmål）的合成语料库，专注于数值表达式的自动语音识别与文本转语音任务。在构建方式上，研究团队以pere/nb-asr-numerics-categorized数据集中的模板为基础，首先筛选出包含已标注实体的原始语句，随后针对59个数值类别，每个类别均从对应模板中有放回地抽取20,000条语句，并通过正则表达式生成符合类别规范的随机数值，替换模板中的＜NUM＞占位符。所有实体边界、起始与结束偏移量以及文本值均经过确定性重算与对齐，最终形成超过110万条、类别高度平衡的合成语料。

特点

该数据集的显著特点在于其类别均衡性与发音扩展的精细设计。每个数值类别均包含等量样本，有效避免了长尾分布问题，为下游模型提供了公平的训练基础。此外，新增的tts_text字段将句中所有数字、数学表达式及科学缩写（如mmol、Hz、µg/l）完全扩展为挪威语自然发音文本，这一过程借助google/gemma-4-12B-it模型在DGX GPU上以批处理模式完成，并依据类别专属的发音指南进行精细化处理，从而极大提升了TTS训练中发音变体的丰富性与准确性。

使用方法

该数据集主要面向挪威语ASR与TTS系统的训练与评估。用户可直接使用text字段作为ASR的文本输入；对于TTS任务，则应优先采用tts_text字段，其包含了已扩展为自然发音的完整语句，适用于语音合成模型的发音变体训练。数据集提供明确的实体标注（entities字段），包括数值的起始位置、类别及扩展后文本，便于构建对齐监督信号。此外，primary_category与source_template_id字段可辅助研究者按类别或模板来源进行子集采样与交叉验证，以深入分析模型在不同数值表达上的表现差异。

背景与挑战

背景概述

在自动语音识别（ASR）与文本转语音（TTS）系统中，数字和数值表达式的准确处理是衡量系统性能的关键指标之一。由于挪威语博克马尔（Norwegian Bokmål）在数字发音、量词搭配及科学术语扩展方面存在复杂的语言规则，传统数据集往往面临类别不均衡、生成文本多样性不足等问题。为此，研究人员于近期构建了nb-asr-numerics-balanced-disfluent数据集，该数据集由pere等人主导，依托合成模板和正则表达式技术，基于源语料库pere/nb-asr-numerics-categorized进行扩展，通过类别平衡采样（每个类别2万条样本，总计超过110万条）和确定性对齐方法，构建了一个高度均衡、语义对齐的合成语料库。该数据集专门针对挪威语数字表达式的ASR与TTS训练需求，填补了该语种在数值领域结构化数据资源的空白，对提升北欧语言语音技术的鲁棒性和自然度具有重要推动作用。

当前挑战

该数据集所应对的领域挑战在于：挪威语博克马尔中的数字和科学表达式（如单位缩写“mmol”、“Hz”）在语音合成与识别中常因发音规则复杂或语料稀少而导致准确率低下，现有数据集多存在类别分布严重偏斜的问题，难以支撑下游模型对各类数值表达式的通用学习。在构建过程中，挑战主要体现为：从源语料中筛选并保持带注释实体的句子时，需确保模板与随机生成值之间的语义一致性；对每个类别采样2万条样本时，需处理模板重复替换可能引发的实体边界偏移与文本错位，并重新计算起始/结束偏移量；同时，为生成TTS所需的自然发音形式（tts_text），需要依赖大型语言模型（如Gemma-4-12B-it）进行批量扩展，而科学缩写展开、数字拼写规则的工程实现亦对计算资源与提示工程提出了较高要求。

常用场景

经典使用场景

在挪威语自动语音识别（ASR）与文本转语音（TTS）研究领域中，数字表达式的准确处理始终是一个充满挑战的课题。该数据集通过精心设计的模板合成策略，为挪威博克马尔语提供了超过110万条类别均衡的数值句子样本，其中每个数值类别均包含2万条示例。研究者常将其作为训练和评估ASR系统对数字、单位、科学术语等特殊词汇识别能力的基准资源，尤其适用于提升模型在长尾数值分布上的鲁棒性。同时，数据集中特设的tts_text字段将数字与符号扩展为挪威语全拼形式，为TTS系统提供符合自然发音习惯的训练语料，从而显著改善合成语音中数字表达的自然度与可懂度。

解决学术问题

该数据集直面的核心学术挑战在于如何克服数值表达在语音处理中的系统不均衡性。传统语料库中数字类别常呈现长尾分布，导致模型对低频数值的识别与合成能力严重不足。通过引入类均衡采样与随机数值生成机制，该工作从根本上缓解了数据偏差问题，为研究数值类别的声学-语言学映射规律提供了可控实验平台。此外，明确标注的实体边界与类别标签支持对ASR系统在不同数值子任务上的细粒度诊断，促进了对数字歧义消解、单位拼写扩展等深层语言现象的理解，推动了挪威语语音技术向高精度、全覆盖方向迈进。

衍生相关工作

该数据集的构建理念与合成方法论已衍生出若干经典后续工作。一方面，其类均衡采样框架被迁移至多语种数值语音数据集的生产管线中，如瑞典语与丹麦语的相似项目借鉴了其模板替换与实体对齐策略。另一方面，基于该语料库的TTS发音标签生成流程（采用Gemma模型结合类别引导规则）启发了多项针对稀有词与专业术语的自动音标拓展研究。此外，部分团队基于其细粒度类别标注，开发了专门用于数值发音变体对比分析的评测集，进一步揭示了博克马尔语中数字在不同语境下的韵律变异规律，为多模态语音合成奠定了理论基础。