EleutherAI/proof-pile-2|机器学习数据集|人工智能数据集

Proof-Pile-2是一个包含550亿个token的数学和科学文档数据集，用于训练Llemma 7B和Llemma 34B模型。该数据集由三个子集组成：arxiv（29B tokens）、open-web-math（15B tokens）和algebraic-stack（11B tokens）。arxiv子集来自RedPajama，open-web-math子集包含互联网上的高质量数学文本，algebraic-stack子集是一个新的数学代码数据集，包括数值计算、计算机代数和形式数学。每个数据行包含文本和元数据。数据集的内容详细列出了AlgebraicStack中各编程语言的token数量。许可证信息未改变原始数据的许可证。版本历史包括v1.1.0和v1.0.0，分别对应不同版本的OpenWebMath。引用部分提供了对整个数据集及其子集的引用格式。

原始信息汇总

数据集概述

名称: Proof-Pile-2

大小: 55亿 token

语言: 英语 (en)

任务类别: 文本生成 (text-generation)

标签: 数学 (math)

数据集组成:

• arxiv (29亿 tokens)
• open-web-math (15亿 tokens)
• algebraic-stack (11亿 tokens)

数据集详情

子集描述

• arxiv: 来自 RedPajama 的 ArXiv 子集。
• open-web-math: OpenWebMath 数据集，包含互联网上的高质量数学文本。
• algebraic-stack: 包含数学代码的新数据集，涉及数值计算、计算机代数和形式数学。

数据集结构

• 每行结构: python { "text": ..., # 文档文本 "meta": ..., # JSON 字符串形式的元数据 }

许可证

• 不更改任何底层数据的许可证。

版本历史

• v1.1.0: 包含更新的 OpenWebMath 版本，改进了过滤，例如移除了非常短的文档。
• v1.0.0: 用于训练 Llemma 7B 和 Llemma 34B 的数据。

引用信息

• 整个 Proof-Pile-2:

  @misc{azerbayev2023llemma, title={Llemma: An Open Language Model For Mathematics}, author={Zhangir Azerbayev and others}, year={2023}, eprint={2310.10631}, archivePrefix={arXiv}, primaryClass={cs.CL} }

• ArXiv 子集:

  @software{together2023redpajama, author={Together Computer}, title={RedPajama: An Open Source Recipe to Reproduce LLaMA training dataset}, month={April}, year={2023}, url={https://github.com/togethercomputer/RedPajama-Data} }

• OpenWebMath:

  @misc{paster2023openwebmath, title={OpenWebMath: An Open Dataset of High-Quality Mathematical Web Text}, author={Keiran Paster and others}, year={2023}, eprint={2310.06786}, archivePrefix={arXiv}, primaryClass={cs.AI} }

AI搜集汇总

数据集介绍

构建方式

Proof-Pile-2数据集的构建旨在为数学和科学文档领域提供丰富的训练资源，总计包含55亿个标记。该数据集整合了三个子集：来自RedPajama的ArXiv子集、OpenWebMath数据集以及全新的AlgebraicStack数学代码数据集。这些子集通过精心筛选和语言特定的启发式方法，确保了数学内容的高质量与相关性。

特点

该数据集的特点在于其内容的多样性和专业性。ArXiv子集提供了广泛的学术研究论文，OpenWebMath子集包含了互联网上高质量数学文本的丰富资源，而AlgebraicStack子集则专注于数学代码，涵盖了多种编程语言。整体而言，Proof-Pile-2为数学语言模型的训练提供了全面且深入的数据支持。

使用方法

用户可以通过Hugging Face的datasets库轻松加载整个Proof-Pile-2数据集或其特定子集。数据集的每一行都包含文档文本和元数据，其中元数据以JSON字符串的形式存储，且其模式特定于数据源。这种结构设计使得数据集在加载和使用过程中既灵活又方便。

背景与挑战

背景概述

Proof-Pile-2数据集，由EleutherAI团队创建，是一个涵盖数学与科学文档的55亿token的数据集。该数据集旨在训练Llemma 7B与Llemma 34B模型，汇集了来自ArXiv、OpenWebMath以及全新构建的AlgebraicStack三个子集的数据。其构建标志着数学领域语言模型训练数据集的重要进展，为数学知识的学习与应用提供了丰富的文本资源。

当前挑战

该数据集在构建过程中面临了多方面的挑战：首先，数学文本的收集与筛选需确保高质量与相关性，这对数据集的准确性提出了高要求；其次，不同来源的数据整合与格式统一工作复杂，对数据处理的鲁棒性提出了挑战；最后，如何在保证数据质量的同时，遵循各数据源原有的版权协议，也是数据集构建中的一大考验。

常用场景

经典使用场景

在数学与科学领域，Proof-Pile-2数据集的经典使用场景主要在于支撑数学语言模型的训练，如Llemma 7B与Llemma 34B模型，其通过吸收数据集中的丰富数学文本，为模型提供深度学习的基础。

衍生相关工作

基于Proof-Pile-2数据集，已经衍生出了一系列相关研究工作，如Llemma系列模型的开发，以及针对特定数学问题的高效算法研究，这些工作进一步推动了数学与计算机科学的交叉融合，促进了数学知识工程的发展。

数据集最近研究

最新研究方向

在数学与科学文献领域，Proof-Pile-2数据集的构建标志着对数学语言模型训练资源的重要拓展。该数据集涵盖了55亿个标记的数学和科学文档，旨在支持Llemma系列模型的训练，其中包括29亿个标记的ArXiv子集、15亿个标记的OpenWebMath子集以及11亿个标记的AlgebraicStack子集。近期研究聚焦于利用这一数据集进一步优化数学语言模型的性能，提升数学文本生成的准确性和流畅性，进而推动数学研究、教育和科学普及的发展。Proof-Pile-2的发布，不仅丰富了数学语言处理领域的研究资源，也为相关模型的评估与比较提供了统一的标准，对于促进数学知识传播和技术创新具有深远影响。