fineweb-edu-100B-gpt2-token-shards
收藏魔搭社区2025-12-05 更新2025-12-06 收录
下载链接：
https://modelscope.cn/datasets/AI-ModelScope/fineweb-edu-100B-gpt2-token-shards
下载链接
链接失效反馈官方服务：
资源简介：
FineWeb Edu 100B dataset tokenized with GPT-2 tokenizer using the code in llm.c repo.
FineWeb Edu 100B数据集通过llm.c代码仓库中的代码，使用GPT-2分词器（GPT-2 tokenizer）完成了Token化（tokenization）处理。
提供机构：
maas
创建时间：
2025-10-14
