common-pile/wikimedia
收藏Hugging Face2025-06-06 更新2025-07-05 收录
下载链接：
https://hf-mirror.com/datasets/common-pile/wikimedia
下载链接
链接失效反馈官方服务：
资源简介：
Wikimedia数据集是从Wikimedia基金会直接管理的英语维基网站官方数据库中获取的，包含了Wikipedia、Wikinews、Wikibooks、Wikiquote、Wikisource、Wikiversity、Wikivoyage和Wiktionary等维基网站的内容。数据集采用了CC BY-SA许可。数据集由63,969,938个文档组成，总大小为90.5GB。文档以UTF-8编码存储。数据集经过了特定的格式转换，包括将wikitext转换为纯文本，将数学公式转换为LATEX格式，并使用正则表达式移除了HTML标签。
The Wikimedia dataset is obtained from the official database dumps of English-language wikis directly managed by the Wikimedia Foundation, including Wikipedia, Wikinews, Wikibooks, Wikiquote, Wikisource, Wikiversity, Wikivoyage, and Wiktionary. The dataset is released under the CC BY-SA license. It consists of 63,969,938 documents with a total size of 90.5GB in UTF-8 encoding. The documents have undergone specific format conversions, including converting wikitext to plain text, transforming mathematical formulas to LATEX, and removing HTML tags using regexes.
提供机构：
common-pile
