epfl-dlab/llaza-200B

Llaza Mixture Full (200B) 是一个用于zip2zip语言模型预训练的完整预训练数据混合数据集。它结合了通用网络文本、代码、数学和多语言网络文本，并采用基于字节的顶层混合比例。具体组成包括：通用网络文本（来自HuggingFaceFW/fineweb-edu的sample-100BT，占50%）、代码（来自bigcode/the-stack-dedup，占20%）、数学（来自HuggingFaceTB/finemath的finemath-3plus，占10%）和多语言网络文本（来自epfml/FineWeb2-HQ的20种语言子集，占20%）。数据集包含218.27B个令牌、190,184,417行文本，总文本字节数为860.00 GiB，分为1,731个分片。每个数据行包含text和source字段，其中source字段保留源数据详细信息。数据集支持英语和多语言，主要用于语言模型预训练研究，可直接用于预训练或作为创建更小子集（如20B令牌子集）的父数据集。数据构建通过流式处理和分片混合实现，但需注意数据集继承了上游数据集的质量、许可和安全属性，可能包含噪声、重复或敏感内容。

---
license: 其他
task_categories:
- 文本生成
language:
- en
- 多语言
tags:
- 预训练
- 语言建模
- 混合数据集
- zip2zip
- FineWeb
- 代码
- 数学
- 多语言
pretty_name: Llaza混合全量数据集（200B）
size_categories:
- 100B<n<1T
---

# Llaza混合全量数据集（200B）

本数据集为用于zip2zip语言模型预训练的完整Llaza预训练数据混合集。

该数据集整合了通用网络文本、代码、数学与多语言网络文本，并采用基于字节的顶层混合比例。

| 领域 | 来源 | 目标字节占比 |
|---|---|---:|
| 通用 | `HuggingFaceFW/fineweb-edu`、`sample-100BT` | 50% |
| 代码 | `bigcode/the-stack-dedup` | 20% |
| 数学 | `HuggingFaceTB/finemath`、`finemath-3plus` | 10% |
| 多语言 | `epfml/FineWeb2-HQ`的20个语言子集 | 20% |

## 数据集规模

最终Token计数统计：

| 指标 | 数值 |
|---|---:|
| Token总数 | 218.27B |
| 行数 | 190,184,417 |
| 文本字节数 | 860.00 GiB |
| 统计分片数 | 1,731 |

Token计数使用Llama 3.1分词器（Tokenizer）完成：

- 分词器：`meta-llama/Llama-3.1-8B`
- `add_special_tokens=False`（不添加特殊Token）

本地Token计数结果输出路径如下：

text
/iopsstor/scratch/cscs/mxx/zip2zip-pretraining-data/mixture-v1/token_counts.json

## 数据集结构

每一行的数据格式如下：

python
{
"text": str,
"source": str
}

`source`字段保留了来源的详细信息，示例如下：

- `fineweb-edu::sample-100BT`
- `the-stack-dedup`
- `finemath::finemath-3plus`
- `fineweb2-hq::deu_Latn`
- `fineweb2-hq::cmn_Hani`

## 多语言子集

多语言部分采用了FineWeb2-HQ的20个语言子集：

- `arb_Arab`
- `ces_Latn`
- `cmn_Hani`
- `dan_Latn`
- `deu_Latn`
- `ell_Grek`
- `fas_Arab`
- `fra_Latn`
- `hun_Latn`
- `ind_Latn`
- `ita_Latn`
- `jpn_Jpan`
- `nld_Latn`
- `pol_Latn`
- `por_Latn`
- `rus_Cyrl`
- `spa_Latn`
- `swe_Latn`
- `tur_Latn`
- `vie_Latn`

## 加载方式

可通过如下代码加载该数据集：

python
from datasets import load_dataset

ds = load_dataset("epfl-dlab/llaza-200B", split="train")
print(ds[0])

## 预期用途

本数据集旨在用于语言模型预训练以及zip2zip风格训练管线的相关研究。

可直接用于预训练，或作为父数据集以创建符合Token预算的更小子集，例如200亿Token子集。

## 数据构建流程

源数据集以流处理方式读取并写入增量分片。初始构建阶段按来源进行分区，最终完整数据集被重新混合为扁平化混合分片。

顶层混合比例基于字节而非Token，不同分词器下的Token占比可能存在差异。

## 注意事项

本数据集继承了上游源数据集的质量标准、过滤规则、许可证条款与安全属性。用户在进行二次分发或下游部署前，应查阅原始数据集卡片。

本数据集可能包含从大规模网络、代码、数学与多语言语料库中继承的噪声、重复内容、敏感信息或其他不良内容。

## 源数据集列表

- `HuggingFaceFW/fineweb-edu`
- `bigcode/the-stack-dedup`
- `HuggingFaceTB/finemath`
- `epfml/FineWeb2-HQ`