marin-community/fineweb-edu-pretokenized-10M
收藏Hugging Face2025-05-15 更新2025-07-05 收录
下载链接：
https://hf-mirror.com/datasets/marin-community/fineweb-edu-pretokenized-10M
下载链接
链接失效反馈官方服务：
资源简介：
Marin/Levanter子集预处理分词数据集，包含10,000,680个token。该数据集使用Stanford CRFM的Marin分词器进行分词，随机种子设置为42。
Marin/Levanter Subsampled Pretokenized Dataset containing 10,000,680 tokens, tokenized using Stanford CRFMs Marin tokenizer with a random seed of 42.
提供机构：
marin-community
