Ti-Ma/wikipedia_2020
收藏资源简介：
--- license: cc-by-sa-3.0 --- # Dataset Card for Dataset Name This is a Wikipedia dataset correct to "31-12-2020". ## Dataset Details ### Dataset Description WikiMedia routinely publishes dumps of Wikipedia, each containing the revision history of articles. We first defined the relevant revision before extracting the article information. Specifically, we select the most recent revision as of December 31st for each year. Consequently, some revisions in our datasets date back several years from the target date since these pages haven't been edited. While this inclusion of older revisions might initially appear problematic, it is important to note that these are the existing versions of Wikipedia pages as of the cutoff date. The content of these pages was considered current enough at that time. This approach ensures that our training datasets reflect the most up-to-date information available on Wikipedia at each year's end, providing a realistic snapshot of knowledge for that specific point in time. Once each revision has been identified we clean the page using the code from \textit{wiki-dump-reader} \footnote{https://github.com/CyberZHG/wiki-dump-reader/tree/master}, which parses the page and outputs clean text. During the cleaning phase a number of unwanted features and attributes are removed: file links, emphasises, comments, indents, HTML, references etc. - **Language(s):** English - **License:** cc-by-sa-3.0 ## Uses Diachronic studies of Wikipedia, historical LLM pre-training, and any task that requires strict temporal partitioning of data. ## Dataset Structure The dataset is saved in a format that is suitable for fast loading of large files and is compatible with the Huggingface datasets framework. ## Bias, Risks, and Limitations This dataset does include all Wikipedia articles, some of which might not be useful to the end user. Filtering of relevant articles may be necessary for downstream tasks. ## Dataset Card Contact felix.drinkall@eng.ox.ac.uk ## Acknowledgments We are grateful to Graphcore, and their team, for their support in providing us with compute for this project. The first author was funded by the Economic and Social Research Council of the UK via the Grand Union DTP. This work was supported in part by a grant from the Engineering and Physical Sciences Research Council (EP/T023333/1). We are also grateful to the Oxford-Man Institute of Quantitative Finance and the Oxford e-Research Centre for their support. ## Citation **BibTeX:** @inproceedings{drinkall-tima-2024, title = "Time Machine GPT", author = "Drinkall, Felix and Zohren, Stefan and Pierrehumbert, Janet", booktitle = "Findings of the Association for Computational Linguistics: NAACL 2024", month = june, year = "2024", publisher = "Association for Computational Linguistics" }
--- 许可证：CC BY-SA 3.0 --- # 数据集名称 数据集卡片 本维基百科数据集的截止时间为2020年12月31日。 ## 数据集详情 ### 数据集描述 维基媒体基金会（Wikimedia Foundation）会定期发布维基百科转储文件，每份文件均包含对应条目的修订历史。我们首先确定相关修订版本，再从中提取条目信息。具体而言，我们选取每一年12月31日当天的最新修订版本。因此，由于部分页面自目标日期起未被编辑，本数据集中的部分修订版本可追溯至目标日期数年前。尽管纳入较旧的修订版本乍看之下存在问题，但需明确的是，这些版本正是维基百科页面在截止日期当天的现存版本，且这些页面的内容在当时被认为足够贴合当前知识状态。该方法确保我们的训练数据集能够反映每年年末维基百科上的最新可用信息，为对应时间点提供一份真实可靠的知识快照。 在确定每个修订版本后，我们使用来自wiki-dump-reader的代码对页面进行清洗footnote{https://github.com/CyberZHG/wiki-dump-reader/tree/master}，该工具可解析页面并输出纯净文本。在清洗阶段，我们会移除诸多冗余的特征与属性：包括文件链接、强调格式、注释、缩进、HTML标签、参考文献等。 - **语言：** 英语 - **许可证：** CC BY-SA 3.0（知识共享署名-相同方式共享3.0协议） ## 使用场景 可用于维基百科的历时研究、大语言模型（LLM）历史预训练，以及任何需要对数据进行严格时间划分的任务。 ## 数据集结构 本数据集采用适合大文件快速加载的格式存储，且兼容Hugging Face数据集框架。 ## 偏倚、风险与局限性 本数据集涵盖所有维基百科条目，其中部分条目可能对终端用户并无实用价值。针对下游任务，可能需要对相关条目进行筛选。 ## 数据集卡片联系人 felix.drinkall@eng.ox.ac.uk ## 致谢 我们感谢Graphcore及其团队为本项目提供计算资源的支持。第一作者受英国经济与社会研究委员会（Economic and Social Research Council）通过Grand Union DTP项目资助。本研究部分获得英国工程与自然科学研究委员会（Engineering and Physical Sciences Research Council）拨款（EP/T023333/1）支持。我们同时感谢牛津大学量化金融牛津-曼研究所（Oxford-Man Institute of Quantitative Finance）与牛津大学电子研究中心（Oxford e-Research Centre）提供的支持。 ## 引用 **BibTeX：** @inproceedings{drinkall-tima-2024, title = "Time Machine GPT", author = "Drinkall, Felix and Zohren, Stefan and Pierrehumbert, Janet", booktitle = "Findings of the Association for Computational Linguistics: NAACL 2024", month = june, year = "2024", publisher = "Association for Computational Linguistics" }
数据集概述
数据集名称
Dataset Name
数据集描述
这是一个截至2020年12月31日的维基百科数据集。数据集包含了每年12月31日为止的最新的文章修订版本。即使某些修订版本可能比目标日期早几年，因为这些页面未被编辑，但这些版本反映了截至截止日期的维基百科页面的现有状态。此数据集通过确保训练数据集反映每年年底维基百科上可用的最新信息，提供了一个特定时间点的知识现实快照。
数据集处理
数据集通过使用wiki-dump-reader代码库进行清洗，去除了文件链接、强调、评论、缩进、HTML、参考等不必要特征和属性，以输出干净的文本。
语言
英语
许可证
cc-by-sa-3.0
用途
适用于维基百科的历时研究、历史语言模型预训练以及任何需要严格数据时间分区的任务。
数据集结构
数据集以适合快速加载大型文件的格式保存，并与Huggingface数据集框架兼容。
偏差、风险和局限性
数据集包含所有维基百科文章，其中一些可能对最终用户无用。对于下游任务，可能需要筛选相关文章。
