MathPile 数学推理预训练语料库

MathPile 是一个多样化且高质量的以数学为中心的语料库，包含约 95 亿个 token 。该数据集与以前的数据集在以下特征上有着显著不同：

MathPile is a diverse and high-quality math-centric corpus containing approximately 9.5 billion tokens. This dataset differs significantly from prior datasets in the following aspects:

搜集汇总

背景与挑战

背景概述

MathPile是一个专注于数学推理的预训练语料库，包含约95亿个token，具有以数学为中心、来源多样和高质量的特点。它整合了教科书、arXiv、维基百科等多类数学内容，并经过严格的数据处理流程以确保数据质量。