Slimpajama

该数据集是对RedPajama的清洗和去重版本，它提供了一个高质量的前训练语料库，包含了多样化的数据来源，如C4、ArXiv、GitHub、书籍等。该数据集的任务是为大型语言模型的剪枝提供校准数据。

搜集汇总

背景与挑战

背景概述

Slimpajama 是RedPajama数据集的清洗和去重版本，旨在提供高质量的前训练语料库，包含C4、ArXiv、GitHub、书籍等多样化数据来源，专门用于大型语言模型的剪枝校准任务。这确保了数据集的纯净性和实用性，以支持模型优化。