MiniMind 大模型训练微调数据集

MiniMind 是一个开源的轻量级大语言模型项目，旨在降低大语言模型 (LLM) 的使用门槛，使个人用户能够在普通设备上快速训练和推理。

MiniMind is an open-source lightweight large language model project that aims to lower the barrier to using Large Language Models (LLMs), enabling individual users to quickly conduct training and inference on ordinary devices.

搜集汇总

背景与挑战

背景概述

MiniMind是一个开源轻量级大语言模型项目，旨在降低大语言模型的使用门槛，使个人用户能在普通设备上训练和推理。该数据集整合了多个子数据集，包括分词器训练、预训练、监督微调和奖励模型数据，总量约3B token，适合中文大语言模型的预训练。