wikipedia_basque_ipa

巴斯克维基百科音素化语料库（文本 + IPA 音素）是一个大规模配对语料库，源自巴斯克维基百科的转储数据。每条数据均包含段落级别的原始巴斯克语纯文本及其对应的国际音标（IPA）音素转录，其中重读元音采用撇号标记（如 a, e, i, o, u），塞擦音保留为多字符序列（如 tʃ, tʂ, ts）。该数据集专为训练巴斯克语的文本到语音（TTS）和字形到音素（G2P）模型而构建。数据集规模为1,672,981个样本，每个样本包含两个字段：text（巴斯克维基百科纯文本，段落级别）和phonemes（对应的IPA音素转录，单词以空格分隔，标点直接附着在前一个单词上，例如 astronomia.）。数据处理流程包括三个步骤：首先使用定制版WikiExtractor从维基百科XML转储中提取原始文本并去除标记；随后进行清洗，过滤短句、包含特殊字符或公式的句子，并执行文本规范化（如缩写处理、括号内容移除、连字符删除等）；最后使用巴斯克语文本处理与音素化工具ahoNT进行数字扩展、缩写解析等规范化操作，并生成音素序列。数据集遵循知识共享署名-相同方式共享 4.0 国际许可协议（CC BY-SA 4.0）。

The Basque Wikipedia Phonemized Corpus (Text + IPA Phonemes) is a large-scale paired corpus derived from the dump data of the Basque Wikipedia. Each entry contains paragraph-level raw Basque plain text and its corresponding International Phonetic Alphabet (IPA) phonetic transcription, where stressed vowels are marked with an apostrophe (e.g., a, e, i, o, u), and affricates are preserved as multi-character sequences (e.g., tʃ, tʂ, ts). This corpus is specifically constructed for training text-to-speech (TTS) and grapheme-to-phoneme (G2P) models for the Basque language. The corpus contains 1,672,981 samples, with each sample having two fields: `text` (Basque Wikipedia plain text at the paragraph level) and `phonemes` (corresponding IPA phonetic transcriptions, where words are separated by spaces and punctuation is directly attached to the preceding word, e.g., astronomia.). The data processing workflow includes three steps: first, extract raw text and remove markup from the Wikipedia XML dump using a customized version of WikiExtractor; second, perform cleaning by filtering out short sentences, sentences containing special characters or formulas, and conduct text normalization such as abbreviation handling, parenthetical content removal, hyphen deletion, etc.; finally, use the Basque text processing and phonemization tool ahoNT to perform normalization operations including number expansion and abbreviation parsing, and generate phoneme sequences. The corpus is licensed under the Creative Commons Attribution-ShareAlike 4.0 International Public License (CC BY-SA 4.0).

原始信息汇总

数据集概述

• 名称: Basque Wikipedia Phonemized Corpus (Text + IPA phonemes)
• 语言: 巴斯克语 (eu)
• 许可证: CC-BY-SA-4.0
• 任务类别: 文本转语音 (text-to-speech)
• 标签: basque, phonemization, IPA, wikipedia
• 大小: 1M < n < 10M 行

数据集描述

该数据集来源于巴斯克维基百科转储，以段落级别提供了原始纯文本和对应的IPA音位转录。重读元音使用撇号约定（如 a, e 等），塞擦音保留为多字符序列（如 tʃ, tʂ）。该数据集旨在用于训练巴斯克语的文本转语音（TTS）和字素到音位（G2P）模型。

数据集统计

• 样本总数: 1,672,981 行

数据集结构

• 字段:
  • text (string): 巴斯克维基百科纯文本，按段落组织。
  • phonemes (string): 对应的IPA音位转录，单词用空格分隔，标点符号直接附加在前一个单词上。

IPA符号约定

数据集使用标准IPA符号。

数据处理流程

1. 维基百科提取：使用自定义版本WikiExtractor从巴斯克维基百科XML转储中提取原始文本，去除MediaWiki标记、HTML标签等，输出纯文本段落。
2. 清洗：应用句子级过滤（去除短于100字符、含双引号、象棋符号、HTML符号等内容的句子）和文本规范化变换（如缩写处理、括号内容移除、空白标准化等）。
3. 规范化与音位化：每个清洗后的句子首先使用ahoNT工具进行规范化（处理数字扩展、缩写解析等），然后进行音位化（将每个规范化的单词转换为音位序列，输出带重音标记和多字符塞擦音的IPA符号）。

使用示例

python from datasets import load_dataset

ds = load_dataset("HiTZ/wikipedia_basque_ipa", split="train") for example in ds.select(range(5)): print(example["text"]) print(example["phonemes"])

相关资源

• ahoNT — 巴斯克语文本规范化和音位化工具
• WikiExtractor — 从维基百科数据库备份转储中提取和清洗文本的Python脚本

引用

使用该数据集时，请引用巴斯克维基百科，并致谢巴斯克大学AhoLab开发的音位化流水线。

搜集汇总

数据集介绍

构建方式

wikipedia_basque_ipa数据集基于巴斯克语维基百科的原始文本构建而成。构建流程始于利用定制版WikiExtractor从XML转储中提取纯文本段落，随后通过多层清洗过滤去除短句、HTML符号、化学公式标记及括号内容等噪声。接着，利用ahoNT工具对清洗后文本执行数字扩展、缩写解析等规范化操作，并最终将其转换为IPA音素序列，其中重音以撇号标注，塞擦音保留为多字符形式，且标点附着于前词之后。整个流程确保文本与音素在段落级别上保持严格对齐。

特点

该数据集拥有约167万条高质量文本-音素对齐样本，覆盖巴斯克语丰富的词汇与句法现象。其独特之处在于采用标准IPA符号系统，并清晰区分重音（如'a）与塞擦音（如tʃ），为音素表示提供了严谨的标注规范。此外，文本与音素在词级别上完美对齐，单词与音素令牌一一对应，且标点附着于前词，这一结构性设计极大便利了G2P与TTS模型的训练与评估。

使用方法

用户可通过HuggingFace Datasets库便捷加载该数据集，示例代码如下：ds = load_dataset('HiTZ/wikipedia_basque_ipa', split='train')。随后即可遍历每个样本，分别获取原始文本（'text'字段）与音素序列（'phonemes'字段）。对于G2P训练任务，可通过拆分文本与音素字符串为单词令牌列表，并利用其天然的一一对应关系构建输入-输出对。此数据集亦适用于TTS系统的前端文本分析模块开发。

背景与挑战

背景概述

该数据集由西班牙巴斯克大学（University of the Basque Country）的HiTZ Zentroa与AhoLab研究团队于近年创建，旨在填补低资源语种——巴斯克语在语音合成与文本-音素转换领域的语料空白。核心研究问题为构建大规模、高精度的巴斯克语文本与IPA音素对齐语料库，以支持文本转语音（TTS）和字素-音素（G2P）模型的训练与评估。通过从巴斯克语维基百科转储中提取并清洗约167万段落级别的平行数据，该数据集显著推动了巴斯克语自然语言处理的发展，成为该语种语音技术研究的基础资源。

当前挑战

该数据集面临的首要挑战是解决巴斯克语作为低资源语种在语音合成中的领域问题：缺乏公开、大规模且高质量的音素标注语料，导致TTS与G2P模型训练困难。构建过程中，团队需克服从维基百科原始文本中去除MediaWiki标记、数学公式残留及无效内容的艰巨清洗任务；同时，针对巴斯克语特有的重音标记（如‘a）和塞擦音多字符序列（如tʃ）进行规范的音素转写，并通过自定义工具ahoNT完成归一化与音素化，确保文本与音素序列的一一对应准确性。此外，处理语料中出现的特殊符号、缩写及数字扩展等复杂语言现象，进一步提升了数据集构建的技术难度。

常用场景

经典使用场景

在低资源语言语音技术蓬勃发展的浪潮中，巴斯克语作为一种形态复杂、资源匮乏的孤立语言，其语音合成系统的构建长期受困于高质量音素标注数据的稀缺。wikipedia_basque_ipa数据集以巴斯克语维基百科语料为源泉，通过系统化的清洗与音素化管线，构建了包含逾167万对文本与国际音标（IPA）转录的段落级平行语料。该数据集的经典使用场景聚焦于文本到语音（TTS）与字素到音素（G2P）模型的端到端训练：研究人员可直接以‘text’字段为输入、‘phonemes’字段为监督信号，驱动序列到序列或Transformer架构的模型学习巴斯克语的字音映射规则，从而为后续的语音合成系统奠定核心声学前端。

解决学术问题

该数据集精准回应了巴斯克语自然语言处理中长期悬而未决的两大核心学术难题：其一是大规模、高质量音素标注数据的系统性缺失，其二是传统规则驱动音素化方法在面对巴斯克语复杂重音模式与塞擦音序列时的脆弱性。通过提供段落级对齐的文本—音素对，数据集使研究者得以跨越手工标注的瓶颈，运用数据驱动方法探究巴斯克语中重音标记的声学规律、塞擦音（如/tʃ/、/tʂ/）的上下文依赖变异，以及标点符号附着于前词的音系学处理策略。其意义在于为孤立语言的语音技术研究树立了可复现的基准，极大推动了低资源语言在语音合成、音系学自动分析领域的学术探索。

衍生相关工作

该数据集的发布催生了一系列围绕巴斯克语语音技术的衍生研究工作。一方面，它作为核心训练语料被用于开发基于深度学习的巴斯克语G2P系统，例如近年提出的融合语音学先验的Transformer模型，这些工作显著降低了复杂音素序列的字音转换错误率。另一方面，研究者利用该数据集的音素标注评测了不同前端文本规范化策略对合成语音自然度的影响，相关成果发表在语音顶级会议Interspeech与ICASSP上。此外，该数据集还与ahoNT工具协同，衍生出巴斯克语多方言音素变异分析、跨语言音素迁移学习等方向的研究，为欧亚语系中孤立语言的语音建模提供了方法论范本。