Proof-Pile-2 数学数据集

Proof-Pile-2 是一个包含 550 亿个数学和科学文档的 token 数据集。融合了科学论文、数学相关的网络内容和数学代码，其知识截止于 2023 年 4 月（不包括特定的 Lean 证明步骤子集）。创建此数据集是为了训练 Llemma 7B 和 Llemma 34B 模型。

Proof-Pile-2 is a token dataset containing 55 billion tokens sourced from mathematical and scientific documents. It incorporates scientific papers, mathematics-related web content, and mathematical code, with a knowledge cutoff of April 2023 (excluding a specific subset of Lean proof steps). This dataset was developed for training the Llemma 7B and Llemma 34B models.

搜集汇总

背景与挑战

背景概述

Proof-Pile-2是一个包含550亿个数学和科学文档token的数据集，知识截止于2023年4月，由arxiv、open-web-math和algebraic-stack三个子集组成，专门用于训练Llemma 7B和34B模型。