ikawrakow/imatrix-from-wiki-train

该数据集包含用于改进量化方法的重要性矩阵，这些矩阵是使用`wiki.train.raw`作为训练数据计算得出的。数据集适用于与`llama.cpp`中最近添加的改进量化方法一起使用。

原始信息汇总

数据集概述

数据集内容

• 包含用于改进量化方法的重要性矩阵数据集。
• 重要性矩阵是通过使用wiki.train.raw作为训练数据计算得出的。

使用方法

• 克隆此仓库后，例如对于Mixtral-8x7B和Q4_K_M量化，使用以下命令：

  ./quantize --imatrix path_to_repo/mixtral-8x7b.imatrix path_to_model ggml-model-q4k-m.gguf Q4_K_M

许可证

• 本数据集遵循Apache-2.0许可证。

搜集汇总

背景与挑战

背景概述

该数据集是一个重要性矩阵数据集，专为改进量化方法而设计，基于'wiki.train.raw'训练数据计算得出，主要用于与'llama.cpp'工具结合进行模型量化，例如支持Mixtral-8x7B等模型的Q4_K_M量化。数据集总大小为175MB，采用Apache-2.0许可证，最近一个月下载量为158次，表明其在量化领域有一定的使用需求。