mathpile

在构建强大的基础模型中，高质量、大规模的语料库是其核心的组成部分。在本研究中，我们推出了“MathPile”，这是一个多样化且高质量的数学主题语料库，包含约95亿个tokens。