eminorhan/wikipedia
收藏Hugging Face2024-12-03 更新2024-12-14 收录
下载链接：
https://hf-mirror.com/datasets/eminorhan/wikipedia
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含从英文维基百科中随机抽取的子集，分为两个主要子集：一个包含大约10M个单词（23k篇文章），另一个包含大约100M个单词（228K篇文章）。此外，还提供了完整的英文维基百科数据集，包含大约2.8B个单词（6.4M篇文章）。数据集主要用于BabyLM挑战。每个配置都有详细的特征描述、分割信息和数据文件路径。
This dataset contains random subsets of the English Wikipedia, including two main subsets: one with approximately 10M words (23k articles) and another with approximately 100M words (228K articles). Additionally, it provides the full English Wikipedia dataset, containing approximately 2.8B words (6.4M articles). The dataset is primarily intended for the BabyLM challenge. Each configuration has detailed feature descriptions, split information, and data file paths.
提供机构：
eminorhan
