OLMo预训练数据-21B tokens (Dolma3)

# OLMo预训练数据-21B tokens (Dolma3) OLMo 预训练用数据，包含： - **OLMo-mix-0625-20Bsample**: 训练数据（dolma2-tokenizer 预 tokenize 的 .npy 文件） - **eval-data/perplexity/v3_small_dolma2-tokenizer**: 验证数据（v3_small_ppl_validation） ## 数据格式 - Tokenizer: allenai/dolma2-tokenizer - 格式: numpy .npy 文件，uint16 或 uint32 ## 使用方式 下载后设置 `--data-root` 指向解压目录，并确保目录结构为： ``` data_root/ ├── OLMo-mix-0625-20Bsample/ # 训练 .npy 文件 └── eval-data/ └── perplexity/ └── v3_small_dolma2-tokenizer/ # 验证 .npy 文件（lm_evaluator 用） ```