nb-asr-numerics-categorized

该数据集是挪威语（Bokmål）数字表达式分类数据集，代表了挪威语数字数据处理流程的第二阶段。其核心目标是对第一阶段从大量文本中收集到的、包含数字或数字表达式的挪威语（Bokmål）句子进行语义验证和精细分类。数据集的主要用途是为后续生成新的、有效的、包含不同数字值的句子提供高质量的模板基础。在处理过程中，每个句子都会根据一个封闭的、包含超过60个预定义类别（如基数、序数、数量、日期、年份、时间、价格、百分比、测量值、标识号等）的本体进行分类。核心标注决策是二元的：保留（keep）或丢弃（drop）。保留的句子中的所有数字实体都必须被精确分类，并且可以标注实体之间的语义关系约束（如小于、大于、时间顺序等）。丢弃则适用于非挪威语、语法错误、不完整、数字表达式无效、功能不明确或无法分类等情况。数据集通过指令微调的大语言模型（google/gemma-4-12B-it）进行自动化处理，并遵循严格的提示模板（categorize_v1）以确保一致性和质量。最终数据集包含约176.9万条被保留的句子（保留率约46.4%）和相应的结构化标注信息，适用于文本生成（尤其是数字替换）、信息抽取、自然语言理解以及挪威语计算语言学相关的研究与开发。This dataset is a Norwegian (Bokmål) numerical expression classification dataset, representing the second stage of the Norwegian numerical data processing pipeline. Its core objective is to perform semantic validation and fine-grained classification of Norwegian (Bokmål) sentences containing numbers or numerical expressions, which were collected from large-scale texts in the first stage. The primary purpose of the dataset is to provide a high-quality template foundation for subsequently generating new, valid sentences with different numerical values. During processing, each sentence is classified based on a closed ontology with over 60 predefined categories (such as cardinal numbers, ordinal numbers, quantities, dates, years, time, prices, percentages, measurements, identification numbers, etc.). The core annotation decision is binary: keep or drop. All numerical entities in keep sentences must be precisely classified, and semantic relationship constraints between entities (e.g., less than, greater than, temporal order, etc.) can be annotated. Drop applies to cases such as non-Norwegian language, grammatical errors, incompleteness, invalid numerical expressions, ambiguous functionality, or unclassifiable content. The dataset is processed automatically using an instruction-tuned large language model (google/gemma-4-12B-it) and follows a strict prompt template (categorize_v1) to ensure consistency and quality. The final dataset contains approximately 1.769 million retained sentences (retention rate about 46.4%) with corresponding structured annotation information, suitable for text generation (especially numerical substitution), information extraction, natural language understanding, and research and development related to Norwegian computational linguistics.

原始信息汇总

数据集概述

数据集名称: Norwegian Bokmål Numeric Expression Categorized Dataset

描述: 该数据集是挪威语（书面挪威语）数字数据处理流程的第二阶段（Stage 2），包含对第一阶段收集的数字表达式句子进行的语义验证和分类注释。

任务与语言

• 任务类别: 文本生成
• 语言: 挪威语 (书面挪威语, nb)

来源与处理

• 源数据集: pere/nb-asr-numerics-harvested (约380万行，分为6个分片)
• 推断模型: google/gemma-4-12B-it (指令微调模型，BF16精度)
• 并行化: 6个独立的单GPU任务（在H200系统上的0-5号GPU上运行）
• 提示模板版本: categorize_v1
• 解码设置: do_sample: false, temperature: 0.0, top_p: 1.0

核心注释策略

• 所有数字表达式必须分配到封闭本体论中的类别。
• 二元决策：keep（保留）或 drop（丢弃）。不确定性、畸形或不受支持的类别强制 drop 决策。
• 重叠范围和未匹配的数字会被严格验证，强制 drop 决策。
• 不要求事实正确性，仅要求语法和语义上下文有效性。

数据模式

• categories: 句子中唯一、排序的类别名称列表。
• category_signature: 以"+"分隔的、排序的类别名称（无重复）。
• entity_count: 句子中数字实体的总数。
• has_constraints: 句子是否有数字约束。
• decision: keep (保留) 或 drop (丢弃)。
• entities: 已注释的语义实体（偏移量、文本、类别、预跨度映射）。
• constraints: 结构和语义关系约束。

聚合运行统计

• 总源行数: 3,814,821
• 保留行数: 1,769,510
• 丢弃行数: 2,045,311
• 保留率: 0.46385
• 首次通过JSON失败数: 841,335
• 重试次数: 841,335
• 重试成功率: 0.75369
• 模型输出失败数: 207,228
• 多类别句子数: 131,586
• 复合实体数: 63,675

类别计数（前20位）

• quantity: 100,001
• date: 100,000
• percentage: 100,000
• year: 100,000
• duration: 94,904
• measurement: 77,615
• age: 74,329
• price: 73,724
• cardinal: 59,851
• range: 57,257
• product_model: 53,419
• legal_section: 46,814
• distance: 43,884
• time: 42,677
• ordinal: 38,075
• chapter_number: 34,746
• code: 30,458
• money: 22,446
• weight: 18,800
• score: 18,800

许可证

• 许可证: cc-by-4.0

搜集汇总

数据集介绍

构建方式

本数据集是挪威博克马尔语数字表达流水线的第二阶段产物，其构建依托于第一阶段采集的约380万条原始语句。采用指令微调后的谷歌Gemma 4 12B模型，在6块H200 GPU上并行运行推理，使用严格的categorize_v1提示模板进行语义验证与分类标注。模型在零温度、确定性解码设置下运行，确保分类结果的一致性。通过自动化流程对每条语句进行二元决策，保留语法与语义上下文有效的数字表达，剔除不符合封闭分类体系或结构异常的样本。

特点

该数据集拥有超过170万条经过严格筛选的保留语句，覆盖了从基数词、序数词、日期、时间到电话号码、邮政编码等60余种精细的数字表达类别。每条语句均包含完整的语义实体标注，记录数字在原文中的精确位置、文本片段及所属类别。特别地，数据集标注了跨实体的约束关系，如大小比较、时序顺序、同值约束等，为生成新语句时保持数字间逻辑一致性提供了坚实基础。

使用方法

该数据集主要面向基于模板的数字语句生成任务，研究人员可直接利用保留语句及其语义标注作为种子模板，通过替换其中数字值来生成新的、语法正确的句子。数据以JSON格式提供，每条记录包含类别列表、实体标注和约束关系，便于程序化处理。使用时建议优先选用决策为'keep'的样本，并根据具体的生成需求，利用entity_id和约束类型构建数字替换规则，确保生成语句的真实性和语义有效性。

背景与挑战

背景概述

在自然语言处理领域，数字表达的语义理解和规范化是构建高质量语音识别与文本生成系统的关键瓶颈之一。挪威语作为低资源语言，其数字表达式的多样性与复杂性长期缺乏系统性标注资源。为此，挪威研究团队于2024年推出了nb-asr-numerics-categorized数据集，作为挪威数字处理流水线的第二阶段成果。该数据集由pere机构主导，基于约380万条第一阶段收获句子，利用Gemma-4-12B-it模型进行语义验证与类别标注，最终保留约177万条高质量句子。数据集覆盖60余种数字语义类别，如年龄、日期、价格、电话号码等，为挪威语ASR和TTS系统的数字处理能力提供了核心基准，对推动北欧低资源语言的自然语言处理研究具有里程碑意义。

当前挑战

该数据集的核心挑战在于解决挪威语数字表达式的语义歧义与上下文依赖性识别问题。领域问题方面，数字的语义类别需严格依据句法环境判断，例如数字“1945”在不同上下文中可归为年份、代码或房间号，且部分类别如范围、顺序关系需跨实体约束。构建过程中的挑战尤为突出：模型推理阶段，首次通过率不足50%，需大量重试与修正；标注策略要求二元决策（保留或丢弃），对语境缺失、数值边界不清、复合实体等复杂情况强制丢弃，导致约54%数据被过滤。此外，多语义类别共现句子（如“12岁”需同时标注年龄与数量关系）显著增加了标注复杂度，使得构建高置信度的数字语义资源成为低资源语言NLP领域亟待攻克的难题。

常用场景

经典使用场景

在挪威语自动语音识别（ASR）与文本转语音（TTS）系统的研发进程中，nb-asr-numerics-categorized数据集扮演着关键角色。它作为数字表达语义验证与分类的第二阶段产物，为挪威语书面语（博克马尔语）中出现的各类数字实体提供了细粒度且语义精准的标注。研究者可借助该数据集，系统性地训练和评估模型对诸如日期、金额、电话号码、度量单位等数十种数字类别的理解与生成能力，从而构建更具鲁棒性的语音交互系统。

衍生相关工作

围绕nb-asr-numerics-categorized数据集，衍生出了一系列富有影响力的研究工作。其中，采用大型语言模型（如Gemma）进行指令微调与语义分类的流水线设计，为推动少资源语言数字处理提供了范式参考。此外，基于该数据集产生的类别签名分布与约束关系图谱，催生了关于数字实体间时间顺序、数值比较及算术关系建模的后续探索，为统一的多语言数字语义框架构建奠定了坚实基础，并为挪威语以外的语言应用提供了可迁移的方法论。

数据集最近研究

最新研究方向

该数据集聚焦于挪威书面语（Bokmål）中数字表达式的语义验证与分类，属于当前自然语言处理领域对低资源语言数字理解与生成的前沿探索。研究采用大型语言模型（Gemma-4-12B-it）进行自动化标注，构建了涵盖80余种数字语义类别的精细分类体系，并严格遵循语法与上下文有效性而非事实正确性的策略。这一工作不仅为挪威语语音识别（ASR）与文本转语音（TTS）系统提供了高质量的数字模板资源，还通过开放的标注协议与统计报告，推动了多语言数字语义标准化研究的发展，对增强北欧语言在智能语音交互中的鲁棒性与准确性具有重要实践意义。