marin-community/fineweb-edu-pretokenized-10K
收藏Hugging Face2025-05-15 更新2025-07-05 收录
下载链接：
https://hf-mirror.com/datasets/marin-community/fineweb-edu-pretokenized-10K
下载链接
链接失效反馈官方服务：
资源简介：
Marin/Levanter子集预分词数据集，包含10390个tokens，使用Stanford CRFM分词器处理，随机种子为42。
Marin/Levanter Subsampled Pretokenized Dataset, containing 10,390 tokens, processed with the Stanford CRFM tokenizer, using seed 42.
提供机构：
marin-community
