fineweb-edu-100B-gpt2-token-shards
收藏魔搭社区2025-12-05 更新2025-12-06 收录
下载链接：
https://modelscope.cn/datasets/AI-ModelScope/fineweb-edu-100B-gpt2-token-shards
下载链接
链接失效反馈官方服务：
资源简介：
FineWeb Edu 100B dataset tokenized with GPT-2 tokenizer using the code in llm.c repo.
FineWeb Edu 100B数据集通过llm.c代码仓库中的代码，使用GPT-2分词器（GPT-2 tokenizer）完成了Token化（tokenization）处理。
提供机构：
maas创建时间：
2025-10-14
搜集汇总
数据集介绍
背景与挑战
背景概述
该数据集为FineWeb Edu 100B，已使用GPT-2分词器进行分词处理，其实现基于llm.c仓库的代码。它旨在为自然语言处理任务提供预处理的文本数据资源。
以上内容由遇见数据集搜集并总结生成
