Pretrained_B3

混合预训练数据集3B是一个包含30亿个标记的精心策划和混合的预训练数据集，来源于高质量的教育、数学和编程资源。该数据集由60%的FineWeb-Edu（教育网页内容）、30%的数学问题和解答以及10%的Python代码组成。数据集以Parquet格式存储，使用cl100k_base标记器。它适用于语言模型的预训练、针对教育内容的微调、跨领域的多任务学习和课程学习研究。