bene-ges/wiki-en-asr-adapt

---
license: cc-by-sa-4.0
language:
- en
size_categories:
- 10M<n<100M
---

This is the dataset presented in my [ASRU-2023 paper](https://arxiv.org/abs/2309.17267).

It consists of multiple files:

Keys2Paragraphs.txt (internal name in scripts: yago_wiki.txt):
4.3 million unique words/phrases (English Wikipedia titles or their parts) occurring in 33.8 million English Wikipedia paragraphs.

Keys2Corruptions.txt (internal name in scripts: sub_misspells.txt):
26 million phrase pairs in the corrupted phrase inventory, as recognized by different ASR models

Keys2Related.txt (internal name in scripts: related_phrases.txt):
62.7 million phrase pairs in the related phrase inventory

FalsePositives.txt (internal name in scripts: false_positives.txt):
449 thousand phrase pairs in the false positive phrase inventory

NgramMappings.txt (internal name in scripts: replacement_vocab_filt.txt):
5.5 million character n-gram mappings dictionary

asr
outputs of g2p+tts+asr using 4 different ASR systems (conformer ctc was used twice),
gives pairs of initial phrase and its recognition result.
Does not include .wav files, but these can be reproduced by feeding g2p to tts

giza
raw outputs of GIZA++ alignments for each corpus,
from these we get NgramMappings.txt and Keys2Corruptions.txt

This [example code](https://github.com/bene-ges/nemo_compatible/blob/spellmapper_new_false_positive_sampling/scripts/nlp/en_spellmapper/dataset_preparation/build_training_data_from_wiki_en_asr_adapt.sh) shows how to generate training data from this dataset.

许可证：CC BY-SA 4.0
语言：英语
样本量级：10M<n<100M

本数据集出自作者发表于ASRU-2023会议的论文（[论文链接](https://arxiv.org/abs/2309.17267)）。

本数据集包含多个文件与目录：
1. Keys2Paragraphs.txt（脚本内部名称：yago_wiki.txt）：包含430万个唯一词/短语（英文维基百科条目或其部分内容），这些内容共出现于3380万个英文维基百科段落中。
2. Keys2Corruptions.txt（脚本内部名称：sub_misspells.txt）：错误短语库中包含2600万个短语对，由多款不同自动语音识别（Automatic Speech Recognition, ASR）模型识别得到。
3. Keys2Related.txt（脚本内部名称：related_phrases.txt）：相关短语库中包含6270万个短语对。
4. FalsePositives.txt（脚本内部名称：false_positives.txt）：假阳性短语库中包含44.9万个短语对。
5. NgramMappings.txt（脚本内部名称：replacement_vocab_filt.txt）：包含550万个字符n-gram映射词典。
6. asr目录：包含使用4种不同ASR系统（其中Conformer CTC被使用两次）生成的音素转写（Grapheme-to-Phoneme, G2P）+文本转语音（Text-to-Speech, TTS）+ASR输出结果，提供初始短语与其识别结果的配对数据。本数据集不包含.wav音频文件，但可通过将G2P结果输入TTS系统复现音频文件。
7. giza目录：包含各语料库的GIZA++对齐原始输出，NgramMappings.txt与Keys2Corruptions.txt即由此生成。

另有[示例代码](https://github.com/bene-ges/nemo_compatible/blob/spellmapper_new_false_positive_sampling/scripts/nlp/en_spellmapper/dataset_preparation/build_training_data_from_wiki_en_asr_adapt.sh)展示了如何从本数据集生成训练数据。

原始信息汇总

数据集概述

该数据集包含多个文件，具体如下：

• Keys2Paragraphs.txt (内部脚本名：yago_wiki.txt)

  • 包含430万个独特的单词/短语（来自英文维基百科标题或其部分），出现在3380万个英文维基百科段落中。

• Keys2Corruptions.txt (内部脚本名：sub_misspells.txt)

  • 包含2600万个短语对，这些短语对在不同的ASR模型中被识别为损坏的短语库存。

• Keys2Related.txt (内部脚本名：related_phrases.txt)

  • 包含6270万个短语对，这些短语对在相关短语库存中。

• FalsePositives.txt (内部脚本名：false_positives.txt)

  • 包含44.9万个短语对，这些短语对在假阳性短语库存中。

• NgramMappings.txt (内部脚本名：replacement_vocab_filt.txt)

  • 包含550万个字符n-gram映射字典。

• asr

  • 包含使用4种不同ASR系统（其中conformer ctc被使用了两次）的g2p+tts+asr输出，提供初始短语及其识别结果的配对。不包括.wav文件，但可以通过将g2p输入到tts中来重现。

• giza

  • 包含每个语料库的GIZA++对齐的原始输出，从中可以获取NgramMappings.txt和Keys2Corruptions.txt。

搜集汇总

数据集介绍

构建方式

该数据集源自ASRU-2023会议论文，旨在服务于英语自动语音识别（ASR）领域的自适应研究。其构建过程依托于英文维基百科的丰富语料，通过提取3380万个段落中的430万个独特词汇或短语（即维基百科标题或其组成部分）作为基础。进一步，利用多种ASR系统（包括两次使用conformer ctc模型）对文本进行g2p（字素到音素转换）、tts（文本到语音合成）及asr识别，从而生成初始短语与识别结果之间的配对数据。此外，借助GIZA++对齐工具对语料进行词对齐，得到字符n-gram映射字典及短语对候选，并融合来自不同ASR模型识别的错误模式，构建出包含2600万对错误短语、6270万对相关短语以及44.9万对假阳性短语的丰富库存，最终形成多文件组成的综合数据集。

特点

该数据集的核心特点在于其多层次、多来源的短语关联结构，为ASR系统提供了精细化的错误模式与语义相关性分析基础。具体而言，它包含四大短语库存：错误短语库存（Keys2Corruptions）涵盖了ASR模型常见的识别错误对；相关短语库存（Keys2Related）则聚焦于语义或上下文相关的短语关联；假阳性短语库存（FalsePositives）用于区分易混淆的正确与错误识别结果。同时，字符n-gram映射字典（NgramMappings）提供了从字符层面到短语层面的映射关系，增强了数据集的细粒度适应性。此外，ASR模块直接提供了四种不同系统的识别结果配对，使得数据集能够支持跨模型的自适应训练与评估，而无需依赖原始音频文件。

使用方法

该数据集的使用主要围绕ASR自适应训练数据的生成展开。用户可参考提供的示例脚本（build_training_data_from_wiki_en_asr_adapt.sh），通过整合各文件内容，构建用于训练spellmapper等错误纠正模型的输入数据。具体流程包括：从Keys2Paragraphs中提取上下文短语，结合Keys2Corruptions和Keys2Related构建正负样本对，并利用FalsePositives进行负采样过滤。NgramMappings则可用于生成字符级的替换候选。ASR模块中的识别结果配对可直接作为监督信号，而GIZA对齐结果可用于进一步优化映射关系。用户需注意，数据集不含音频文件，但可通过g2p和tts流程复现，从而在自定义ASR系统上扩展应用。

背景与挑战

背景概述

在自动语音识别（ASR）领域，模型对噪声和拼写变体的鲁棒性一直是研究的核心难题。bene-ges/wiki-en-asr-adapt数据集由研究者在ASRU-2023会议上提出，旨在构建一个大规模、多源的知识库，以支持ASR系统的自适应与纠错。该数据集由多个互补的组件构成，包括从英语维基百科中提取的3300万段落及其对应的430万独特词汇/短语，以及通过不同ASR系统识别出的2600万对拼写错误短语、6270万对相关短语和44.9万对假阳性短语，并辅以550万个字符n-gram映射字典。这些资源为深入分析语音识别中的词汇混淆、拼写变异及语境相关性提供了坚实的数据基础，显著推动了ASR后处理与语言模型自适应领域的研究进展。

当前挑战

该数据集面临的挑战主要体现在两个层面。在领域问题上，ASR系统常因口音、环境噪声及词汇拼写变异而产生识别错误，传统方法难以全面捕获这些复杂且多样化的混淆模式，亟需能够覆盖大规模真实场景中短语级拼写和发音变体的数据集。在构建过程中，研究者需从海量维基百科文本中提取并清洗段落，同时利用多种ASR模型生成识别结果，并借助GIZA++对齐工具构建字符n-gram映射，这一流程涉及数据量庞大、噪声引入风险高，且需要精确区分真正的拼写错误与语境相关的假阳性短语，对数据质量控制和算法设计提出了极高要求。

常用场景

经典使用场景

在语音识别与自然语言处理交叉领域，该数据集被广泛用于构建和评估面向英文维基百科文本的语音识别后纠错（ASR post-correction）模型。其核心设计在于提供大规模、多样化的短语级平行语料，包括原始文本、ASR系统识别结果、拼写错误变体及语义相关短语，从而支持端到端或基于统计的纠错算法训练。研究者可借助其包含的4.3百万维基百科标题与3,380万段落文本，模拟真实场景中ASR系统对专业术语、人名地名的误识别，进而开发鲁棒的文本校正策略。

解决学术问题

该数据集系统性地解决了两个关键学术难题：一是缺乏大规模、标注准确的ASR错误与正确文本配对语料，传统方法多依赖人工标注或小规模模拟数据，泛化能力有限；二是现有纠错模型常混淆拼写错误与语义相关替换，导致过度纠正或漏纠。通过提供2,600万短语级拼写错误对与6,270万语义相关短语对，并区分假阳性案例，该数据助力研究者解耦语音混淆与语义干扰，推动纠错模型在精度与召回率上的平衡优化，为ASR后处理领域奠定了标准化评测基础。

衍生相关工作

该数据集衍生出多项经典工作，包括基于字符n-gram映射的轻量级纠错模型（利用其提供的550万字符级映射字典）、结合GIZA++对齐与音素-文本双向生成的混合纠错框架，以及针对假阳性案例的鲁棒采样策略。相关研究进一步拓展至多语言场景，通过迁移学习将英文维基百科的纠错知识适配至低资源语言。ASRU-2023论文中提出的基线方法已成为该领域标杆，后续工作多以其数据构建流程为蓝本，探索噪声信道模型与预训练语言模型的融合创新。