five

fineweb-edu-100B-gpt2-token-shards

收藏
魔搭社区2025-12-05 更新2025-12-06 收录
下载链接:
https://modelscope.cn/datasets/AI-ModelScope/fineweb-edu-100B-gpt2-token-shards
下载链接
链接失效反馈
官方服务:
资源简介:
FineWeb Edu 100B dataset tokenized with GPT-2 tokenizer using the code in llm.c repo.

FineWeb Edu 100B数据集通过llm.c代码仓库中的代码,使用GPT-2分词器(GPT-2 tokenizer)完成了Token化(tokenization)处理。
提供机构:
maas
创建时间:
2025-10-14
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作