erhwenkuo/wikipedia-zhtw

维基百科数据集包含许多不同语言的文章。这个数据集是根据 Wikipedia dumps 里头 `zhwiki` 的中文下载档案来建构的。每个范例都包含一篇完整的维基百科文章的内容，并经过清理以去除不需要的部分(例如参考文献等)。

The Wikipedia dataset encompasses articles across various languages. This dataset is built upon the Chinese download archive of `zhwiki` sourced from Wikipedia dumps. Each sample holds the full content of an entire Wikipedia article, which has been cleaned to remove extraneous sections such as references and similar unwanted materials.

原始信息汇总

数据集概述

基本信息

• 数据集名称: wikipedia-zhtw
• 配置名称: 20231001
• 许可协议: cc-by-sa-3.0
• 任务类别:
  • 文本生成
  • 填充掩码
• 语言: 中文
• 数据集大小: 1M<n<10M

数据结构

• 特征:
  • id (str): 文章的 ID。
  • url (str): 文章的 URL。
  • title (str): 文章的标题。
  • text (str): 文章的文字内容。

数据分割

• 训练集:
  • 字节数: 1682641991
  • 样本数: 1373081

数据集大小

• 下载大小: 1064907519
• 数据集大小: 1682641991

数据集示例

json { "id": "333", "url": "https://zh.wikipedia.org/wiki?curid=333", "title": "鄧麗君", "text": "鄧麗君，臺灣歌手、演員及慈善家，本名鄧麗筠。她是20世紀後期華語流行音樂具代表性的人物..." }

使用方法

python from datasets import load_dataset

指定要使用的数据 dump 的日期

load_dataset("erhwenkuo/wikipedia-zhtw", "20231001")

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，高质量的中文语料库是模型训练与评估的基石。erhwenkuo/wikipedia-zhtw数据集基于维基百科定期发布的zhwiki数据转储（dump）构建，选取了2023年10月1日这一明确时间点的快照。构建流程首先从Wikimedia Dumps下载原始XML文件，随后借助WikiExtractor工具进行文章内容萃取，剥离模板、参考文献等非核心元素。经过精心清洗与格式转换，最终将数据整理为结构化的jsonl格式，并利用Huggingface Datasets库加载并上传至Hub，确保数据可用性与可复现性。

特点

该数据集以简体中文维基百科为核心，收录了约137万篇完整文章，涵盖从百科条目到人物传记的多元主题。每条记录包含id、url、title和text四个字段，其中text字段保留了经过净化的正文内容，去除了冗余标记与噪声信息，使文本纯净度显著提升。数据集采用单一训练集划分，总大小约1.68 GB，遵循CC-BY-SA-3.0许可协议，适用于文本生成与掩码填充等下游任务，具备良好的通用性与合法性。

使用方法

使用者可通过Huggingface Datasets库便捷加载该数据集，只需调用load_dataset函数并指定配置名称'20231001'，即可获取训练分片。数据集以流式或全量方式加载，适配不同计算资源。研究人员可根据任务需求，直接利用text字段进行语言模型预训练或微调，亦可通过id和url字段追溯原始维基百科页面。建议在引用时标注数据来源，遵循维基百科的CC-BY-SA许可要求，确保成果合规共享。

背景与挑战

背景概述

在自然语言处理领域，大规模、高质量的中文语料库对于预训练语言模型和文本生成任务至关重要。erhwenkuo/wikipedia-zhtw数据集于2023年10月由研究者基于维基百科中文站点的数据转储构建，旨在为中文社区提供结构化、清洁的百科全书文本资源。该数据集收录了超过137万篇中文文章，涵盖广泛的知识领域，其创建依托于Wikimedia Foundation的开放数据，并遵循CC-BY-SA 3.0许可协议。作为中文文本生成与掩码填充任务的重要基准，该数据集填补了中文维基百科语料在HuggingFace平台上的标准化空白，推动了中文NLP研究的发展。

当前挑战

该数据集面临的核心挑战包括：其一，中文维基百科内容更新频繁，数据转储版本的时间滞后性可能影响模型对最新知识的捕获，例如2023年10月的快照无法反映后续事件；其二，文本清理过程中虽移除了参考文献等噪音，但维基百科固有的模板标记、跨语言链接及非标准格式仍可能残留，对模型训练造成干扰；其三，数据集规模虽达1.68GB，但相较于英文维基百科语料仍显不足，部分冷门主题的文章稀疏性可能导致模型在长尾知识上的泛化能力受限；其四，构建流程依赖WikiExtractor工具，其解析质量受维基标记语法复杂度影响，可能引入文本截断或结构错乱问题。

常用场景

经典使用场景

在自然语言处理领域，中文维基百科数据集常被用于预训练语言模型的语料构建。研究者通过提取其中海量的、结构化的中文文章，能够训练出具备广泛语义理解能力的模型，例如BERT、GPT等架构的中文变体。该数据集涵盖了从科技、历史到文化等多元主题，为模型提供了丰富的上下文信息，使其在文本生成与掩码填充任务中表现出色。其经过清洗的文本内容，更是避免了冗余噪声对模型性能的干扰，成为中文NLP基础研究的基石。

衍生相关工作

该数据集衍生了一系列经典工作，如基于中文维基百科的实体链接模型与篇章级情感分析框架。研究者利用其结构化标题和URL，开发了跨文档共指消解系统，提升了多文本信息整合的准确性。同时，通过对比不同时间点的数据快照，衍生了追踪概念演变的时间序列分析工作，为计算语言学中的语义变迁研究提供了实证基础。这些工作不仅深化了中文文本理解的理论，也为后续如ChatGPT等大模型的中文适应提供了关键训练资源。

数据集最近研究

最新研究方向

在自然语言处理与大规模语言模型迅猛发展的背景下，中文维基百科数据集作为高质量多领域语料库，正成为预训练与微调阶段不可或缺的基础资源。erhwenkuo/wikipedia-zhtw 数据集聚焦于繁体中文维基百科的定期清洗与结构化处理，其最新版本（20231001）包含超过137万篇完整文章，覆盖历史、科技、文化等多元主题。该数据集的前沿研究方向主要体现在两个方面：一是作为领域自适应与跨语言迁移学习的训练基石，助力模型在繁体中文语境下的语义理解与生成能力提升；二是结合知识增强与检索增强生成（RAG）技术，利用维基百科的结构化知识与实体链接，推动开放域问答、事实验证与对话系统等任务的性能突破。随着CC BY-SA许可协议下的开放共享，该数据集正为中文社区的大模型研究与多模态知识融合提供可靠数据支撑，其持续更新机制亦确保了研究结果的可复现性与时效性。