marin-community/fineweb-edu-pretokenized-10M
收藏官方服务：
资源简介：
Marin/Levanter子集预处理分词数据集，包含10,000,680个token。该数据集使用Stanford CRFM的Marin分词器进行分词，随机种子设置为42。
Marin/Levanter Subsampled Pretokenized Dataset containing 10,000,680 tokens, tokenized using Stanford CRFMs Marin tokenizer with a random seed of 42.
提供机构：
marin-community
