博客与问答网站规范化语料库（BQNC）

博客与问答网站规范化语料库（BQNC）是由信息与通信技术国家研究所和奈良科学技术研究所共同创建的公开日本用户生成文本（UGT）语料库。该数据集包含929个句子，注释了形态和规范化信息，以及频繁出现的UGT特定现象的类别信息。BQNC旨在为UGT的形态分析（MA）和词汇规范化（LN）系统的评估和比较提供挑战性的基准。数据集的创建过程遵循了与现有代表性语料库兼容的标准，并详细评估了UGT特定问题。BQNC的应用领域包括UGT的MA和LN研究，旨在解决现有系统在非通用词和非标准形式上的性能问题。The Blog and Question Answering Website Normalization Corpus (BQNC) is a publicly available Japanese user-generated text (UGT) corpus co-created by the National Institute of Information and Communications Technology and the Nara Institute of Science and Technology. This corpus contains 929 sentences annotated with morphological and normalization information, as well as category labels for frequently occurring UGT-specific linguistic phenomena. BQNC is designed to serve as a challenging benchmark for evaluating and comparing systems for UGT morphological analysis (MA) and lexical normalization (LN). The construction of BQNC follows standards compatible with those of existing representative corpora, and has conducted detailed assessments of UGT-specific challenges. The application scope of BQNC covers UGT-related MA and LN research, aiming to address the performance issues of existing systems when dealing with non-standard vocabulary items and non-standard linguistic forms.

搜集汇总

数据集介绍

构建方式

博客与问答网站规范化语料库（BQNC）的构建源自对日本用户生成文本中形态分析与词汇规范化需求的深刻洞察。研究者从现代日语书面语平衡语料库（BCCWJ）的非核心数据中，精心筛选出博客与问答网站两个语域的原始句子，优先提取包含用户生成文本特有词汇现象的候选语句。在标注过程中，遵循国立国语研究所的短单位词准则，确保与既有代表性语料库的分词标准与词性标签体系相兼容。每一条句子均经过两轮精细的人工标注：第一轮修正原始自动标注的词汇边界与属性信息，并赋予每个词元以词汇类型与变体形式类型的类别标签；第二轮则统一标准，重新校订所有标注，最终形成包含929句、12,600个词元的可靠语料库。

特点

BQNC语料库的显著特点在于其精细的类别划分与对用户生成文本特有现象的深度覆盖。研究者从词汇类型与变体形式两个维度，系统性地构建了包含新词/俚语、专有名词、拟声拟态词、感叹词、方言词、外来词及表情符号/ASCII艺术在内的七类词汇类型，以及字符类型变体、替代表示、音变变体与打字错误在内的四类非标准形式。每一非标准词元均被赋予标准形式标识符，关联至BCCWJ中频率不低于10%的规范写法。这种双重视角的类别体系，使得语料库能够精准捕捉用户生成文本中无限制创造或引入的新词现象，以及因书写系统多样性而产生的丰富变体形态，为细粒度的系统性能评估提供了坚实基准。

使用方法

BQNC语料库的使用方法聚焦于形态分析与词汇规范化系统的评估与对比。研究者将语料库中的句子标识符与标注信息（包括词汇边界、词性、词元、标准形式及词元类别）作为黄金标准，对现有系统进行评测。实验中，采用主流日语形态分析工具MeCab（搭配UniDicMA词典）以及基于推导规则的联合形态分析与词汇规范化方法（MeCab+ER），在分词、词性标注与规范化三个任务上计算精确率、召回率与F1值。语料库的类别标注允许按词汇类型与变体形式进行分组分析，从而揭示系统在复杂变体形式与未知词上的具体不足。研究者将标注信息与BCCWJ原始数据结合，供用户复现完整语料，并鼓励基于此基准开发高覆盖率的联合处理方法。

背景与挑战

背景概述

博客与问答网站规范化语料库（BQNC）由日本国立信息与通信技术研究所（NICT）与奈良先端科学技术大学院大学（NAIST）的研究团队于2021年构建，旨在应对日语用户生成文本（UGT）中形态分析（MA）与词汇规范化（LN）的评估难题。该语料库包含929条从现代日语书面语均衡语料库（BCCWJ）中精选的句子，涵盖了博客与问答网站两种语域，并标注了词边界、词性、词元、标准形式及词汇类别等信息。通过系统性地分类UGT中常见的非标准词汇现象，BQNC为日语自然语言处理领域提供了首个公开的、兼容NINJAL分词规范的基准数据集，显著推动了非通用词与变体形式处理的研究进展。

当前挑战

BQNC所解决的核心挑战在于日语UGT中非通用词汇与非标准形式的低性能处理问题。具体而言，现有MA/LN系统在应对新词俚语、拟声词、感叹词、方言词及表情符号等词汇类型时分词与词性标注准确率显著下降（F1仅70-80%），而音变、字符类型变体、替代表记与打字错误等变体形式的规范化召回率更是低至0-37%。构建过程中，研究者面临多重困难：需从BCCWJ非核心数据中手动筛选包含UGT特有现象的句子，依据UniDic与BCCWJ指南精细修正自动标注结果，并制定基于BCCWJ出现频率（10%阈值）的标准形式判定准则，同时建立涵盖7种词汇类型与4种变体形式的细致分类体系。

常用场景

经典使用场景

在自然语言处理领域，用户生成文本因充斥着非规范词汇与不规则书写形式，给日语的形态分析与词汇规范化带来了严峻挑战。博客与问答网站规范化语料库（BQNC）正是为此而生，它精选自现代日语书面语均衡语料库中的博客与问答网站文本，经过精细的人工标注，提供了分词、词性标注、词形还原及非标准形式到标准形式的映射信息。该语料库最经典的使用场景是作为日语用户生成文本形态分析与词汇规范化系统的基准评测平台，研究者可借此系统性地评估不同方法在处理网络用语、方言、拟声词、表情符号及各类拼写变体时的性能差异，从而推动鲁棒性更强的分析工具的开发。

实际应用

在实际应用中，BQNC所支撑的形态分析与词汇规范化技术直接服务于社交媒体监控、搜索引擎优化、智能客服系统及机器翻译预处理等场景。例如，在社交媒体舆情分析中，准确识别并规范化“コピペ”（复制粘贴）、“ドラクエ”（勇者斗恶龙）等网络缩略语与专有名词，能显著提升情感分析与话题检测的精度。在机器翻译领域，将“おいしーい”（好吃）等音变形式还原为标准形“おいしい”，可有效降低训练数据中的噪声，改善翻译模型的泛化能力。此外，该语料库的标注框架还可为其他语言（如中文、英文）的用户生成文本处理提供分类学参考，助力跨语言噪声文本处理系统的构建。

衍生相关工作

BQNC的发布催生了一系列后续研究，尤其是在日语用户生成文本的联合形态分析与词汇规范化方面。基于该语料库，研究者提出并改进了多种方法，例如通过定义派生规则（如长音插入、小写假名替换）来扩展词格，从而识别拟声词与常见变体形式，这一思路被集成到Juman++等现代形态分析工具中。此外，有工作探索了从大规模无标注文本中自动提取变体-标准词对的技术，利用语义与语音相似度来增强规范化覆盖率。在英文领域，类似LexNorm2015的基准数据集也借鉴了BQNC的细粒度分类思想，推动了多语言噪声文本处理社区的发展。这些衍生工作共同构建了一个从规则驱动到数据驱动的完整研究谱系，持续提升着系统对非规范文本的适应能力。