dolma3_mix-150B-1025

<img alt="Logo for Dolma Mix" src="dolma-mix.png" width="234px" style="margin-left:'auto' margin-right:'auto' display:'block'">

# Dolma 3 Sample: 150B Mix

### Dataset Sources

Sample of data for 1Bx5C and 7Bx1B. For the full Dolma 3 pool, see: https://huggingface.co/datasets/allenai/dolma3

| Name | Tokens | Documents | License |
|----------------------|--------|-----------|-----------|
| Common Crawl | 118.8B | 9.67B | ODC-BY |
| olmOCR Science PDFs | 18.2B | 101M | ODC-BY |
| StackEdu (Rebalanced)| 11.0B | 167M | ODC-BY |
| FineMath 3+ | 4.0B | 21.4M | ODC-BY |
| arXiv | 1.3B | 3.95M | ODC-BY |
| Wikipedia & Wikibooks| 63.5M | 6.67M | ODC-BY |
| Total | **153.3B** | **10.0B** | |

### Licensing Information

Dolma 3 is licensed under the Open Data Commons Attribution License v1.0 (ODC-By). It is intended for research and educational use. For more information, please see our [Responsible Use Guidelines](https://allenai.org/responsible-use).

## Citation
A technical manuscript is forthcoming! Find the paper at: https://allenai.org/papers/olmo3

<img alt="Dolma Mix 标志" src="dolma-mix.png" width="234px" style="margin-left: auto; margin-right: auto; display: block">

# Dolma 3 采样集：1500亿Token混合语料集

### 数据集来源
本采样集涵盖1Bx5C与7Bx1B类型的语料数据。如需获取完整的Dolma 3语料全集，请访问：https://huggingface.co/datasets/allenai/dolma3

| 名称 | Token数 | 文档数 | 授权协议 |
|----------------------|--------|-----------|-----------|
| 通用爬虫（Common Crawl） | 1188亿 | 96.7亿 | ODC-BY |
| olmOCR科学PDF（olmOCR Science PDFs） | 182亿 | 1.01亿 | ODC-BY |
| 重平衡版StackEdu（StackEdu (Rebalanced)）| 110亿 | 1.67亿 | ODC-BY |
| FineMath 3+（FineMath 3+） | 40亿 | 0.214亿 | ODC-BY |
| arXiv（arXiv） | 13亿 | 0.0395亿 | ODC-BY |
| 维基百科与维基教科书（Wikipedia & Wikibooks）| 0.635亿 | 0.0667亿 | ODC-BY |
| 总计 | **1533亿** | **100亿** | |

### 授权信息
Dolma 3 采用开放数据共同体署名许可协议v1.0（Open Data Commons Attribution License v1.0，缩写ODC-By）进行授权。本数据集仅用于研究与教育用途。如需了解更多信息，请参阅我们的[负责任使用指南](https://allenai.org/responsible-use)。

## 引用
相关技术研究论文即将发布！可通过以下链接获取论文：https://allenai.org/papers/olmo3