Proof-Pile-2 数学数据集

Proof-Pile-2 是一个包含 550 亿个数学和科学文档的 token 数据集。融合了科学论文、数学相关的网络内容和数学代码，其知识截止于 2023 年 4 月（不包括特定的 Lean 证明步骤子集）。创建此数据集是为了训练 Llemma 7B 和 Llemma 34B 模型。