yuhuanstudio/wikipedia-pretrain-zh

wiki-pretrain-zh是一个基于简体中文维基百科构建的数据集，更新于2025年10月1日，已经使用OpenCC转换成简体中文，并且去除了繁简体混用的文本。数据集包含标题和对应维基百科文本内容，适用于需要中文文本数据的场景。

wiki-pretrain-zh is a dataset constructed based on the Simplified Chinese Wikipedia, updated on October 1, 2025, which has been converted to Simplified Chinese using OpenCC and text with mixed Traditional and Simplified Chinese has been removed. The dataset includes titles and corresponding Wikipedia text content, suitable for scenarios that require Simplified Chinese text data.

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，高质量的中文预训练语料库是提升模型理解能力的关键基石。该数据集基于每月初从维基百科dump中获取的原始中文文本，利用OpenCC工具将其统一转换为简体中文，彻底消除了繁简体混杂的现象。数据构建过程中，仅保留了具有知识价值的段落，并系统性地剔除了图片、表格、infobox、外部链接及注释等非知识性内容，确保每一条数据都是纯净的文本段落。经过长度与质量双重筛选，过短或含有噪声的段落被排除，最终形成结构化的JSON格式数据，每条记录包含标题与文本两个字段。

特点

该数据集最显著的特点在于其高度的纯净性与结构化设计。数据以段落而非整篇文章为单位，使得每个样本都聚焦于一个独立的知识点，便于模型进行细粒度的语义学习。标题字段采用‘主题 - 章节’的规范格式，为文本提供了清晰的上下文锚点，有助于模型理解内容归属。此外，数据集规模庞大，样本数量介于一百万至一千万之间，覆盖了中文维基百科中多样化的知识领域，从农业定义到历史事件，为大规模预训练提供了丰富的语言素材。

使用方法

使用该数据集极为便捷，用户可通过HuggingFace的datasets库直接加载。只需一行代码`load_dataset("yuhuanstudio/wikipedia-pretrain-zh", split="train")`，即可获取完整的训练集，无需额外处理数据格式或路径配置。返回的数据集对象包含'title'和'text'两个键，用户可根据下游任务需求灵活调用，例如在掩码语言模型预训练中，可直接将'text'字段作为输入序列。该数据集已遵循Apache-2.0开源协议发布，允许自由使用与修改，为中文自然语言处理研究提供了可靠的基础资源。

背景与挑战

背景概述

在自然语言处理领域，大规模高质量的中文预训练语料库一直是推动模型性能提升的关键资源。yuhuanstudio/wikipedia-pretrain-zh数据集由YuhuanStudio团队于近期创建，专注于从简体中文维基百科中提取结构化知识段落。该数据集通过每月定期获取维基百科数据转储，并利用OpenCC工具统一转换为简体中文，有效消除了繁简混杂问题。核心研究问题在于构建一个纯净、知识密集且易于使用的预训练文本集合，以支持中文语言模型的基础训练。其影响力体现在为学术界和工业界提供了一个标准化、可复现的中文语料基准，填补了高质量中文预训练数据集的空白，促进了中文自然语言处理研究的进一步发展。

当前挑战

该数据集面临的挑战主要体现在两个方面。在领域问题层面，维基百科内容涵盖广泛但知识分布不均，部分主题段落过短或含有噪声，如何从海量文本中精准筛选出具有语义完整性和知识价值的段落，是保证预训练效果的核心难点。在构建过程中，团队需应对维基百科数据转储的周期性更新与格式差异，同时去除图片、表格、infobox及外部链接等非知识性元素，确保输出文本的纯净度。此外，段落分割策略的优化、长度与质量过滤阈值的设定，以及避免繁简字符混杂的技术处理，均为构建此数据集时所需克服的关键技术挑战。

常用场景

经典使用场景

在自然语言处理领域，大规模、高质量的中文预训练语料库是构建语言模型的基础。yuhuanstudio/wikipedia-pretrain-zh数据集通过对简体中文维基百科的深度清洗与结构化处理，剔除了图片、表格、注释等非知识性噪声，保留了段落级别的纯文本内容。这一特性使其成为中文预训练任务的首选数据源，广泛应用于BERT、GPT、RoBERTa等主流架构的预训练阶段。研究者可直接使用该数据集进行掩码语言建模、下一句预测或自回归生成等经典任务的训练，从而捕获中文语义、句法及长程依赖关系。其段落化的数据组织方式还便于进行细粒度的知识注入与领域适配，为中文语言模型的初始权重学习提供了坚实且纯净的文本基础。

解决学术问题

该数据集有效回应了中文自然语言处理中高质量预训练语料匮乏的学术困境。此前，许多研究依赖于爬取网络文本或混合繁简体的语料，导致模型学习到噪声或语言风格偏差。yuhuanstudio/wikipedia-pretrain-zh通过OpenCC统一转换为简体中文，消除了繁简混杂问题，并经过严格的质量筛选，确保每个段落具备知识密度与语义完整性。这解决了模型预训练阶段数据分布不纯、领域覆盖不全的难题，显著提升了中文语言模型在下游任务中的泛化能力与稳定性。同时，其开源与标准化格式降低了研究复现的门槛，推动了中文NLP社区在知识增强、领域迁移等方向上的可重复研究进展。

衍生相关工作

该数据集的发布催生了一系列衍生研究工作。一方面，它被用作基准语料，评估不同中文预训练模型在知识性任务上的表现，例如在CLUE、FewCLUE等中文评测榜单中，基于该数据集预训练的模型常作为基线系统。另一方面，研究者基于其段落结构开展了知识图谱构建与实体链接任务，将标题与文本映射为结构化三元组。此外，有工作利用该数据集进行跨语言知识迁移，通过对比中英文维基百科段落，探索多语言对齐与零样本学习。数据集的生成工具WikiZH_Dataset也被社区复用，用于构建其他语言或领域的维基百科语料，形成了开源生态的良性循环。