erhwenkuo/zhwikisource-zhtw

该数据集是基于维基文库（Wikisource）的中文下载文件构建的，包含清理后的完整文章内容。每个示例包括文章的ID、URL、标题、语言标识（用于区分中文简体或繁体）和文本内容。数据集适用于文本生成任务，主要用于中文简体或繁体的文本处理。This dataset is constructed based on Chinese downloaded files from Wikisource, containing cleaned complete article content. Each sample includes the article's ID, URL, title, language identifier (used to distinguish between Simplified Chinese and Traditional Chinese), and the text content. This dataset is applicable to text generation tasks and is primarily used for Simplified Chinese and Traditional Chinese text processing.

原始信息汇总

数据集概述

数据集信息

• 配置名称: 20231001
• 特征:
  • id: 字符串类型
  • url: 字符串类型
  • title: 字符串类型
  • lang: 64位整数类型
  • text: 字符串类型
• 分割:
  • train: 字节数为4441187554，示例数为311698
• 下载大小: 2980564378字节
• 数据集大小: 4441187554字节

配置

• 配置名称: 20231001
• 数据文件:
  • train: 路径为20231001/train-*

许可证

• 许可证: cc-by-sa-3.0

任务类别

• 任务类别: 文本生成

语言

• 语言: 中文

大小类别

• 大小类别: 100K<n<1M

数据集结构

• 示例: json { "id": "7183", "url": "https://zh.wikisource.org/wiki?curid=7183", "title": "相見歡 (李煜)", "lang": 1, "text": "無言獨上西樓，月如鉤。寂寞梧桐深院鎖清秋。剪不斷，理還亂，是離愁。別是一般滋味在心頭。" }

数据字段

• id (str): 文章的ID
• url (str): 文章的URL
• title (str): 文章的标题
• lang (int): 判断内容是中文简体或繁体
  • 0: UNKNOWN
  • 1: TRADITIONAL (中文繁體)
  • 2: SIMPLIFIED (中文簡體)
  • 3: BOTH
  • 4: MIXED
• text (str): 文章的文字内容

使用方法

python from datasets import load_dataset

请在第二个参数去指定要使用的数据dump的日期

load_dataset("erhwenkuo/zhwikisource-zhtw", "20231001")

引用信息

@ONLINE{wikidump, author = "Wikimedia Foundation", title = "Wikimedia Downloads", url = "https://dumps.wikimedia.org" }

搜集汇总

数据集介绍

构建方式

该数据集源自维基媒体基金会定期发布的维基文库数据转储（dump），具体选取了中文维基文库（zhwikisource）的存档文件进行构建。数据构建流程包括下载指定日期的dump文件，利用WikiExtractor工具提取文章内容，并通过hanzidentifier库依据文章标题判断其语言类型（繁体或简体）。随后，对提取的文本进行清理，剔除无关信息，最终将处理后的数据转换为JSONL格式，借助HuggingFace的Datasets库完成加载并上传至Hub。数据集以20231001版本为例，包含311698条训练样本，总计约4.44GB文本数据。

特点

该数据集的核心特色在于其聚焦于中文维基文库中的繁体中文内容，涵盖了典籍、史书、小说、诗歌、散文、演讲、歌词、经书等多元作品类型，以及条约、宪法、法律、政治、历史、宗教等丰富主题。数据条目包含id、url、title、lang和text五个字段，其中lang字段细致区分了未知、繁体、简体、混合及兼具五种语言状态。特别地，数据集精选了《道德经》、《红楼梦》、《史记》等经典文献，为中文自然语言处理研究提供了高质量、结构化的语料资源。

使用方法

使用该数据集时，可通过HuggingFace的Datasets库便捷加载，指定配置名称（如'20231001'）即可获取对应版本的数据。加载后的数据集以字典形式呈现，每条记录包含文章的唯一标识符、链接、标题、语言类型及完整文本。开发者可直接利用text字段进行文本生成、语言模型预训练或下游任务微调。数据集采用CC-BY-SA 3.0许可协议，允许在遵守署名-相同方式共享条款下自由使用和分发，适用于学术研究与商业应用场景。

背景与挑战

背景概述

erhwenkuo/zhwikisource-zhtw数据集由开发者erhwenkuo于2023年10月基于维基媒体基金会运营的维基文库项目构建，旨在为中文自然语言处理领域提供高质量、结构化的繁体中文文本资源。维基文库作为自由内容文本的在线图书馆，收录了从古代典籍、史书、小说到现代法律、条约等多样化的文献，涵盖《红楼梦》《史记》《道德经》等经典作品，以及中华民国与中华人民共和国法律文件，具有深厚的历史与文化价值。该数据集通过定期抓取维基文库的数据库转储文件，利用WikiExtractor工具进行内容萃取，并借助hanzidentifier对文本进行繁简识别，最终筛选出繁体中文条目，形成包含311,698个样本的文本生成任务数据集。其核心研究问题在于为中文古籍数字化、历史文本分析、文学语言建模及法律文档处理等领域提供大规模、可复用的语料支撑，对推动中文信息处理在文化遗产保护与跨时代文本理解方面的研究具有重要影响力。

当前挑战

该数据集面临的挑战主要体现在两个层面。在领域问题层面，维基文库收录的文献时间跨度极大，从先秦典籍到近现代法律，语言风格、词汇用法与句法结构差异显著，例如古文中的虚词、通假字与现代中文的混合使用，对语言模型的泛化能力构成严峻考验；同时，部分文本涉及繁体与简体字混用、异体字及古籍校勘中的版本分歧，增加了文本归一化的复杂性。在构建过程层面，数据清洗需处理维基标记语言残留、模板引用及非内容性元数据，而WikiExtractor的默认设置可能无法完全剥离这些噪声；此外，繁简识别依赖标题而非全文，可能导致部分内容与标签不一致，如标题为繁体但内文混有简体的情况；数据集仅包含单一训练分割，缺乏验证与测试子集，不利于模型评估的标准化，且定期更新机制虽保证时效性，但版本间的差异可能引入数据分布偏移，影响下游任务的复现性。

常用场景

经典使用场景

该数据集汇聚了来自维基文库的中文繁体文本资源，涵盖典籍、史书、小说、诗歌、法律文献等多元文体，为自然语言处理领域提供了大规模、高质量的古典与现代中文语料。研究者常将其用于预训练语言模型的文本生成任务，通过模型对《道德经》《红楼梦》等经典篇章的学习，提升模型在文言文与白话文混合语境下的语义理解与生成能力。同时，数据集中包含的法律条文与历史文献也为跨领域文本分析提供了珍贵素材。

解决学术问题

该数据集有效缓解了中文繁体语料稀缺的问题，为古典文献数字化研究提供了标准化数据基础。学术研究中，它助力解决领域自适应难题，例如在古汉语分词、命名实体识别及文体分类任务中，模型可借助该语料挖掘历史文本的语义结构。此外，通过对比繁体与简体文本的双语特征，研究者能够探索汉字演变对语言模型泛化性能的影响，推动中文信息处理向纵深发展。

衍生相关工作

该数据集衍生了一系列经典工作，包括基于维基百科语料的多语言预训练模型（如mBERT、XLM-R）的中文繁体版本微调实验，以及针对古典文献的专用语言模型（如GuwenBERT）。此外，研究者利用其构建了古文-现代文平行语料库，推动机器翻译在历史文本领域的突破。数据集的清洗流程（如WikiExtractor与hanzidentifier工具链）也成为后续类似语料构建的参考范式。