大模型加速数据集LLaVA-CC3M-Pretrain-595K

大模型加速数据集LLaVA-CC3M-Pretrain-595K采集方案：首先从训练语料库中占主导地位的语言类别中随机选择一个标记，然后利用这个标记作为输入，让预训练的大型语言模型通过两阶段模式生成连贯的文本序列，从而构建一个多样化且具有代表性的校准数据集，最后在多个数据集上评估量化模型的性能，以确保其泛化能力。数据量大小2GB。

搜集汇总

背景与挑战

背景概述

该数据集由浙江大学构建，旨在通过从训练语料库中随机选择标记并利用预训练大模型生成文本序列，形成一个多样化的校准数据集，用于加速大模型。其目标是在多个数据集上评估量化模型的性能，以确保泛化能力，数据量大小为2GB，包含多种文件格式。