zetavg/zh-tw-wikipedia

台湾正体中文维基百科数据集包含了截至2023年5月的2,533,212篇条目的台湾正体文字内容。每条记录包括页面ID、HTML内容、Markdown内容、坐标信息、内容长度、最后修订时间、最新修订ID和原始页面标题。数据集于2023年5月1日至5月7日间从维基百科API获取，内容与维基百科网站的台湾正体版本一致，没有繁简体混杂的问题。数据集主要用于文本生成任务，语言为中文，数据规模在1M到10M之间。

The Traditional Chinese (Taiwan) Wikipedia Dataset contains 2,533,212 entries of Traditional Chinese (Taiwan) text content as of May 2023. Each record includes page ID, HTML content, Markdown content, coordinate information, content length, last revision timestamp, latest revision ID, and original page title. The dataset was collected via the Wikipedia API between May 1 and May 7, 2023, with content consistent with the Traditional Chinese (Taiwan) edition of the Wikipedia website and no mixed Simplified and Traditional Chinese characters. This dataset is primarily used for text generation tasks, employs Chinese as its language, and has a data scale ranging from 1M to 10M.

原始信息汇总

台灣正體中文維基百科 (zh-tw Wikipedia) 数据集概述

数据集基本信息

• 数据集名称: 台灣正體中文維基百科 (zh-tw Wikipedia)
• 数据集大小: 21930303312 字节
• 下载大小: 0 字节
• 数据集示例数量: 2533212
• 语言: 中文 (zh)
• 任务类别: 文本生成
• 数据集类别: 1M<n<10M

数据集内容

• 特征:
  • pageid: 整数类型 (int64)，维基百科页面ID。
  • html: 字符串类型 (string)，页面原始的HTML格式。
  • markdown: 字符串类型 (string)，页面转换为Markdown格式。
  • coordinate: 结构体类型，包含以下字段:
    • globe: 字符串类型 (string)
    • lat: 浮点数类型 (float64)，纬度。
    • lon: 浮点数类型 (float64)，经度。
  • length: 整数类型 (int64)，页面内容长度。
  • touched: 字符串类型 (string)，页面的最后修订时间。
  • lastrevid: 整数类型 (int64)，最新修订版本的修订ID。
  • original_title: 字符串类型 (string)，维基百科未转换的原始页面标题。

数据集划分

• 训练集:
  • 示例数量: 2533212
  • 数据大小: 21930303312 字节

数据集已知问题

• 无法抽取为受限格式HTML的内容会遗失，如所有图片、图表、表格、参考资料列表及部分代码块。
• 极少数内容过长的条目未被纳入。
• 缺少页面标题 title 字段。

搜集汇总

数据集介绍

构建方式

在自然语言处理与语料库构建领域，高质量的正体中文数据集尤为珍贵。zetavg/zh-tw-wikipedia数据集正是针对这一需求，于2023年5月1日至5月7日间，通过维基百科的action=query与prop=extracts API，系统性地抓取了中文维基百科中2,533,212篇条目的台湾正体文字内容。每篇条目以独立行存储，包含原始HTML格式与经由vinta/pangu.py自动转换的Markdown格式，并确保内容与维基百科网站之台湾正体版本完全一致，避免了繁简体混杂的问题。

特点

该数据集的核心特色在于其纯粹性与完整性。收录的条目均为台湾正体中文，消除了常见于其他中文维基百科数据集中的繁简体混杂现象。每条记录不仅包含页面ID、原始标题、内容长度、最后修订时间等元数据，还提供了地理坐标信息（如有），为地理相关研究提供了便利。此外，数据集规模庞大，超过250万条目，覆盖了截至2023年5月中文维基百科的绝大部分内容，并同时提供HTML与Markdown两种格式，适应不同下游任务的需求。

使用方法

该数据集主要面向文本生成任务，也可广泛用于语言模型预训练、领域适应性微调、文本分类及信息检索等场景。用户可通过HuggingFace Datasets库直接加载使用，例如使用load_dataset('zetavg/zh-tw-wikipedia', split='train')即可获取全部训练数据。对于开发与测试，建议使用其子集zetavg/zh-tw-wikipedia-dev，该子集随机抽取了1000个条目，便于快速迭代。使用时需注意，部分复杂格式内容（如图片、图表、表格）在抽取过程中可能丢失，且极少数过长条目未被纳入。

背景与挑战

背景概述

在自然语言处理领域，大规模语料库的构建是推动语言模型发展的基石。台湾正体中文维基百科数据集（zetavg/zh-tw-wikipedia）由研究者在2023年5月期间创建，收录了中文维基百科中2,533,212篇条目的台湾正体文字内容，涵盖HTML与Markdown两种格式。该数据集聚焦于解决繁体中文语料稀缺的问题，尤其针对台湾地区使用的正体中文，避免了繁简混杂的常见困扰。通过系统化抽取维基百科的页面内容，它为文本生成、语言理解等任务提供了高质量的训练素材，对推动繁体中文自然语言处理研究具有重要影响力，尤其适用于需要地域语言特色的模型开发与评估。

当前挑战

该数据集面临的核心挑战包括：其一，在领域问题层面，繁体中文语料库的构建长期受限于资源匮乏，尤其是台湾正体中文的标准化处理，需应对繁简转换歧义与地域用语差异，这对语言模型的泛化能力提出严峻考验。其二，在构建过程中，数据抽取依赖维基百科API，导致部分受限格式内容（如图片、图表、表格及代码块）无法完整保留，造成信息缺失；同时，极少数超长条目被排除，可能影响模型对长篇文档的建模效果。此外，缺失页面标题字段增加了数据关联与索引的复杂度，限制了其在多模态或跨任务场景中的应用潜力。

常用场景

经典使用场景

在自然语言处理与语料库语言学领域，zetavg/zh-tw-wikipedia数据集以其纯净的台湾正体中文语料著称，为大规模语言模型预训练、文本生成任务提供了坚实的数据基石。该数据集收录了逾253万篇维基百科条目，并同时提供HTML与Markdown两种格式，极大便利了研究者对结构化与非结构化文本的灵活处理。其经典使用场景涵盖语言模型的基础语言建模、序列到序列生成、以及基于检索的问答系统构建，尤其适合需要高质量正体中文文本资源的中文自然语言处理研究。

实际应用

在实际应用层面，该数据集为面向台湾地区的智能文本处理产品提供了关键支撑。它可用于训练和优化正体中文的智能客服对话系统、自动摘要生成工具、以及内容审核与分类平台。例如，在新闻媒体与出版行业，基于此数据集微调的模型能够更精准地理解台湾用语习惯，提升文本自动校对的准确率。此外，其包含的地理坐标信息还拓展了地理信息检索与位置感知应用的开发潜力，如区域特色的旅游推荐系统。

衍生相关工作

围绕此数据集，衍生了一系列具有影响力的研究工作。最为突出的是，它被广泛用于构建和评测面向正体中文的大规模预训练语言模型，例如基于BERT架构的台湾正体中文变体，以及GPT系列模型的区域适配版本。此外，研究者利用其Markdown格式的条理结构，探索了文档级生成任务中的段落分割与标题预测方法。同时，该数据集也催生了若干关于维基百科知识抽取与图谱构建的后续工作，为跨语言知识对齐与本地化知识库建设奠定了数据基础。