Mini-LLM数据集

Mini-LLM数据集小型大语言模型（Mini-LLM）数据集

搜集汇总

背景与挑战

背景概述

Mini-LLM数据集是用于Mini-LLM项目的训练数据，主要包括OpenCSG Fineweb-Edu-Chinese-V2.1数据集（约70GB）和Jiangshu Tech Large Model Dataset（约16GB），用于分词器训练、预训练和SFT数据。数据集提供下载脚本，支持模型训练和优化。