fineweb-edu-pretokenized-10M

# Marin/Levanter Subsampled Pretokenized Dataset

## Dataset

Train Urls:
- gs://marin-us-central2/raw/fineweb-edu-c2beb4/3c452cb/huggingface.co/datasets/HuggingFaceFW/fineweb-edu/resolve/3c452cb

## Factsheet

* Original cache: gs://marin-us-central2/tokenized/fineweb-edu-24698d
* Tokenizer: [stanford-crfm/marin-tokenizer](https://huggingface.co/stanford-crfm/marin-tokenizer)
* Seed 42
* Number of tokens: 10,000,680

(This readme is automatically generated by Marin.)

# Marin/Levanter 下采样预分词数据集

## 数据集
训练集下载链接：
- gs://marin-us-central2/raw/fineweb-edu-c2beb4/3c452cb/huggingface.co/datasets/HuggingFaceFW/fineweb-edu/resolve/3c452cb

## 数据集说明表
* 原始缓存路径：gs://marin-us-central2/tokenized/fineweb-edu-24698d
* 分词器（Tokenizer）：[stanford-crfm/marin-tokenizer](https://huggingface.co/stanford-crfm/marin-tokenizer)
* 随机种子：42
* 总Token数：10,000,680

本说明文档由Marin自动生成。

搜集汇总

背景与挑战

背景概述

该数据集是Marin/Levanter子采样预分词数据集，使用stanford-crfm/marin-tokenizer分词器处理，包含约1000万个tokens。它基于Apache License 2.0许可证，于2025年10月30日更新。