as4937/open-web-math

OpenWebMath是一个包含互联网上大部分高质量数学文本的数据集。它从Common Crawl上的超过2000亿个HTML文件中过滤和提取出来，最终得到630万个文档，总计包含147亿个标记。OpenWebMath旨在用于大型语言模型的预训练和微调。

数据集信息：
特征：
- 名称：url，数据类型：字符串
- 名称：text，数据类型：字符串
- 名称：date，数据类型：字符串
- 名称：metadata，数据类型：字符串
数据划分：
- 名称：train，字节大小：56651995057，样本数量：6315233
下载大小：16370689925
数据集总大小：56651995057
授权协议：odc-by
任务类别：文本生成
语言：英语
展示名称：OpenWebMath
规模类别：10B<n<100B

<img src="imgs/OpenWebMath-left.png" width="300">

[凯兰·帕斯特(Keiran Paster)](https://keirp.com)*, [马尔科·多斯桑托斯(Marco Dos Santos)](https://marco-dossantos.github.io/)*, [张吉尔·阿泽巴耶夫(Zhangir Azerbayev)](https://zhangir-azerbayev.github.io/), [吉米·巴(Jimmy Ba)](https://jimmylba.github.io/)

[GitHub](https://github.com/keirp/OpenWebMath) | [ArXiv论文](https://arxiv.org/abs/2310.06786) | [PDF全文](https://arxiv.org/pdf/2310.06786.pdf)

**OpenWebMath** 是一个收录了互联网上绝大多数优质数学文本的数据集。该数据集从 Common Crawl 中的逾2000亿个HTML文件中筛选并提取得到，最终得到**630万份文档**，总计包含**147亿个词元（Token）**。OpenWebMath 旨在用于大语言模型的预训练（pretraining）与微调（finetuning）任务。

你可以通过 Hugging Face 下载该数据集：
python
from datasets import load_dataset
ds = load_dataset("open-web-math/open-web-math")

# OpenWebMath 数据集结构
该数据集的结构如下：
python
{
"text": ..., # 文档文本
"url": ..., # 文档链接
"date": ..., # 页面爬取日期
"metadata": ..., # 包含提取过程信息的JSON对象
}

OpenWebMath 包含来自13万余个不同域名的文档，涵盖论坛、教育页面与博客等来源。该数据集的文档内容覆盖数学、物理、统计学、计算机科学等多个领域。下表按字符数统计了OpenWebMath中最常见的域名：

| 域名 | 字符数 | 占比 |
| ------------------- | --------------- | ---------- |
| stackexchange.com | 4,655,132,784 | 9.55% |
| nature.com | 1,529,935,838 | 3.14% |
| wordpress.com | 1,294,166,938 | 2.66% |
| physicsforums.com | 1,160,137,919 | 2.38% |
| github.io | 725,689,722 | 1.49% |
| zbmath.org | 620,019,503 | 1.27% |
| wikipedia.org | 618,024,754 | 1.27% |
| groundai.com | 545,214,990 | 1.12% |
| blogspot.com | 520,392,333 | 1.07% |
| mathoverflow.net | 499,102,560 | 1.02% |

# OpenWebMath 处理流程
<img src="imgs/pipeline.png" alt="OpenWebMath 处理流程概览">

OpenWebMath 基于超大规模的[Common Crawl](https://commoncrawl.org/)数据集构建，该数据集包含逾2000亿个HTML文档。我们对数据进行筛选，仅保留满足以下条件的文档：(1) 语言为英语；(2) 包含数学内容；(3) 质量较高。同时，相较于其他网页数据集，我们重点强调从HTML文档中提取LaTeX内容，并尽可能去除冗余模板文本。

OpenWebMath 的处理流程包含五个步骤：
1. **HTML文档预筛选**：
- 我们对Common Crawl中的所有HTML文档应用简易预筛选器，跳过不含数学内容的文档，以避免不必要的处理耗时。
2. **文本提取**：
- 从HTML文档中提取文本（包含LaTeX内容），同时去除冗余模板文本。
3. **内容分类与筛选**：
- 采用[FastText语言识别模型](https://fasttext.cc/docs/en/language-identification.html)，仅保留英语文档。
- 使用基于[Proof-Pile](https://huggingface.co/datasets/hoskinson-center/proof-pile)训练得到的[KenLM](https://github.com/kpu/kenlm)模型，过滤高困惑度文档。
- 使用自研的_MathScore_模型，过滤非数学类文档。
4. **去重处理**：
- 借助[text-dedup](https://github.com/ChenghaoMou/text-dedup)中的SimHash算法对数据集进行去重。
5. **人工审核**：
- 对前序步骤得到的文档进行人工审核，移除低质量页面。

如需了解处理流程的详细细节，请参阅我们的学术论文。

# 授权协议
OpenWebMath 采用 ODC-By 1.0 协议发布；用户同时需遵守Common Crawl的服务条款：[https://commoncrawl.org/terms-of-use/](https://commoncrawl.org/terms-of-use/)。我们未对原始数据的授权协议进行任何修改。

# 引用信息

@misc{paster2023openwebmath,
title={OpenWebMath: An Open Dataset of High-Quality Mathematical Web Text},
author={Keiran Paster and Marco Dos Santos and Zhangir Azerbayev and Jimmy Ba},
year={2023},
eprint={2310.06786},
archivePrefix={arXiv},
primaryClass={cs.AI}
}