marin-community/fineweb-edu-pretokenized-10B
收藏Hugging Face2025-05-15 更新2025-07-05 收录
下载链接：
https://hf-mirror.com/datasets/marin-community/fineweb-edu-pretokenized-10B
下载链接
链接失效反馈官方服务：
资源简介：
Marin/Levanter子集预分词数据集，包含大约10亿个token，使用了Stanford CRFM的Marin分词器进行预处理，数据集的随机种子为42。
Marin/Levanter Subsampled Pretokenized Dataset, consisting of approximately 1 billion tokens, preprocessed with Stanford CRFMs Marin tokenizer, using a seed of 42.
提供机构：
marin-community
