Ti-Ma/wikipedia_2019

这是一个基于Wikipedia的数据集，截止日期为2019年12月31日。数据集包含了每年12月31日的最新修订版本，即使某些页面的修订日期早于目标日期，这些页面在截止日期时被认为是足够当前的。数据集经过清理，去除了文件链接、强调、评论、缩进、HTML、引用等不必要的特征和属性。该数据集适用于历时研究、历史LLM预训练等任务。

原始信息汇总

数据集概述

数据集名称

Dataset Name

数据集描述

这是一个截至2019年12月31日的维基百科数据集。数据集包含了每年12月31日为止的最新文章修订版本。尽管部分修订版本可能来自几年前未编辑的页面，但这些内容反映了截止日期时维基百科页面的当前状态。数据集通过使用wiki-dump-reader工具进行清洗，去除了文件链接、强调、评论、缩进、HTML、参考等不必要的内容，以输出干净的文本。

语言

• 语言(s): 英语

许可

• 许可: cc-by-sa-3.0

用途

• 维基百科的历时研究
• 历史语言模型预训练
• 需要严格时间分区的数据任务

数据集结构

数据集以适合快速加载大型文件的格式保存，并与Huggingface数据集框架兼容。

偏差、风险和限制

数据集包含所有维基百科文章，其中部分可能对终端用户无用，因此可能需要对相关文章进行筛选以适应下游任务。