olm/wikipedia

该数据集是Wikipedia的一个分支，旨在提供一个无需使用`apache-beam`的快速处理版本，特别适用于多CPU环境。数据集包含所有语言的清理后的Wikipedia文章，每个示例包含一篇完整的Wikipedia文章内容，并去除了标记和不需要的部分（如参考文献等）。数据集主要用于语言建模任务，支持多种语言。

This dataset is a derivative branch of Wikipedia, developed to offer a fast-processing workflow that eliminates the need for `apache-beam`, and is particularly well-suited for multi-CPU environments. It contains cleaned Wikipedia articles spanning all languages, where each instance consists of a complete Wikipedia article with markup and irrelevant content such as references stripped away. The dataset is primarily designed for language modeling tasks and supports multiple languages.

原始信息汇总

数据集概述

数据集基本信息

• 名称: Wikipedia
• 别名: 无
• 许可证:
  • cc-by-sa-3.0
  • gfdl
• 任务类别:
  • text-generation
  • fill-mask
• 任务ID:
  • language-modeling
  • masked-language-modeling
• 源数据集: original
• 多语言性: multilingual
• 大小分类:
  • n<1K
  • 1K<n<10K
  • 10K<n<100K
  • 100K<n<1M
  • 1M<n<10M
• 语言:
  • 包含多种语言，如aa, ab, ace, af等，详见原文。

数据集结构

数据实例

• ID: str类型，文章的唯一标识。
• URL: str类型，文章的URL。
• 标题: str类型，文章的标题。
• 文本: str类型，文章的文本内容。

数据集创建

语言创建者

• 创建方式: crowdsourced

注释

• 注释创建者: no-annotation

其他信息

配置名称

• 包含多个配置，如20220301.aa, 20220301.ab等，详见原文。

语言BCP47

• 标识: nds-nl

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，大规模、高质量且多语种的语料库是预训练语言模型的基石。olm/wikipedia数据集正是基于维基百科的定期数据转储（dump）构建而成，其构建过程摒弃了对apache-beam的依赖，转而采用mwparserfromhell工具进行文章解析，并利用multiprocess库实现多进程并行处理，从而在配备多核CPU的机器上显著提升了处理效率。该数据集为每种语言和每个日期提供了独立的配置，用户可灵活加载特定语言（如英语）和特定时间戳（如20220920）的维基百科快照。

特点

该数据集最显著的特征在于其极致的多语种覆盖与高效的构建流程。它囊括了从阿法尔语（aa）到祖鲁语（zu）在内的数百种语言版本，几乎涵盖了维基百科所有活跃的语言分支，为跨语言研究提供了丰富的资源。每个数据样本均包含文章的id、url、标题及经过清洗的纯文本内容，去除了标记语言和参考文献等无关信息，直接服务于语言建模与掩码填充等下游任务。此外，数据集采用CC BY-SA 3.0和GFDL双重许可协议，确保了广泛使用的合法性。

使用方法

使用该数据集进行预训练或微调时，研究者首先需通过pip安装mwparserfromhell和multiprocess两个依赖库。随后，借助Hugging Face的datasets库，通过load_dataset函数即可便捷地加载指定语言和日期的子集，例如load_dataset('olm/wikipedia', language='en', date='20220920')。加载后的数据可直接用于文本生成、语言建模等任务，其简洁的字段结构（id、url、title、text）降低了数据预处理的门槛。完整的支持语言与日期列表可查阅维基媒体转储索引页面。

背景与挑战

背景概述

维基百科作为全球最大的多语言在线百科全书，其海量、结构化的文本内容为自然语言处理领域提供了不可或缺的预训练语料。由Hugging Face团队主导的olm/wikipedia数据集项目，旨在从维基百科原始数据转储中提取并清洗出高质量的文章文本，以支持语言模型（如文本生成与掩码填充任务）的训练。该数据集的全量版本覆盖超过300种语言，时间戳可追溯至2022年3月，其构建过程依托于mwparserfromhell解析工具与多进程并行计算，显著提升了处理效率。作为开放语言模型（OLM）项目的核心组件，该数据集不仅推动了多语言预训练研究的进展，更成为评估模型跨语言泛化能力的重要基准，对学术研究与工业应用均产生了深远影响。

当前挑战

该数据集面临的核心挑战源于维基百科本身的动态性与多样性。首先，多语言覆盖虽广，但各语言版本的文章质量、篇幅与更新频率参差不齐，导致数据分布严重不均衡，低资源语言的模型泛化能力受限。其次，原始维基文本中混有大量标记语言、参考文献、信息框等非内容元素，清洗过程需精确剥离这些结构，以避免噪声干扰模型学习。此外，数据集的构建依赖于定期快照，而维基百科内容持续演化，如何在不引入额外偏差的前提下，高效同步最新版本并维持历史版本的可复现性，构成工程与学术上的双重难题。最后，许可协议（CC BY-SA与GFDL）的兼容性要求，也增加了数据分发的合规复杂程度。

常用场景

经典使用场景

在自然语言处理领域，维基百科语料库因其内容广博、结构清晰且涵盖多语言，成为语言模型预训练的基石。该数据集经过精心清洗，去除了标记符号与无关章节，保留了完整的文章正文，为自回归语言建模与掩码语言建模任务提供了高质量的训练素材。研究者常利用其海量文本训练诸如GPT、BERT等大型神经语言模型，从而习得丰富的语义表征与跨领域知识。

解决学术问题

该数据集有效解决了大规模无监督文本语料匮乏的学术难题。传统的语言模型训练常受限于语料规模不足或噪声过多，而维基百科数据集的引入使模型能够从数百万篇结构严谨、内容权威的文章中捕捉长程依赖关系与常识推理能力。此举显著推动了语言理解与生成任务的性能提升，并为跨语言迁移学习与低资源语言建模提供了坚实的数据基础。

衍生相关工作

该数据集催生了众多经典研究工作，例如BERT通过掩码语言建模任务在维基百科上预训练，刷新了多项自然语言理解基准；GPT系列模型则利用其进行自回归训练，展现了强大的文本生成能力。此外，XLM-R等跨语言模型依赖多语言维基百科数据实现了零样本迁移，而T5与BART等序列到序列模型也将其作为核心预训练语料。这些工作共同奠定了现代自然语言处理的技术基石。