InfoTokenizers/finewebedu-20B
收藏Hugging Face2025-04-21 更新2025-04-12 收录
下载链接：
https://hf-mirror.com/datasets/InfoTokenizers/finewebedu-20B
下载链接
链接失效反馈官方服务：
资源简介：
FineWebEDU 20B是一个英文语言模型数据集，包含超过10B小于100B的文本数据。数据集分为三个配置：bytelevel、bytelevel-llm-data和bytelevel-subset，分别对应不同的训练文件和ngram文件。
FineWebEDU 20B is an English language modeling dataset containing text data over 10B and less than 100B. The dataset is divided into three configurations: bytelevel, bytelevel-llm-data, and bytelevel-subset, corresponding to different training and ngram files respectively.
提供机构：
InfoTokenizers
