Corpus for Knowledge-Enhanced Language Model Pre-training (KELM) 专注于将知识图谱三元组（主语、关系、宾语）转换为自然语言句子，用于数据到文本的生成任务。该语料库包含约1800万个句子，涵盖约4500万个三元组和约1500个不同的关系，数据来源于英文维基百科及其相关的知识图谱。数据集包括训练集、验证集和测试集，并采用CC BY-SA
本数据集包含用于论文'Instruction Pre-Training: Language Models are Supervised Multitask Learners'中基于上下文的指令合成器的微调数据集合。数据集涵盖了超过40个任务类别，包括文本分类、表格问答、问答和零样本分类等，用于生成指令-响应对以预训练语言模型。此外，数据集还详细介绍了多任务微调过程，以开发能够从任何原始文本生成指令
RegMix Data Sample数据集是从Pile-Uncopyrighted数据集中精心挑选出来的，专门为RegMix论文设计，旨在通过将数据混合识别作为回归任务来促进语言模型预训练中的高性能数据混合自动识别。该数据集大小约为20GB，包含5B个token，遵循领域示例的自然token分布，并将不同领域的示例分别存储在单独的文件中。数据集分为两个主要目录：`train`和`valid`，每个
