quant_exploration

Examining LLM Quantization Impact仓库旨在分析LLM量化对性能的影响，通过比较Llama.cpp在单个2x7B模型中的量化表现，帮助用户了解量化对模型输出的影响。该仓库提供不同量化级别的数据，包括F16/F32、Q8_0、Q6_K等，并提供Δppl（困惑度变化）和压缩率等指标。该仓库支持文本生成任务，并提供测试用例和指令，用于评估模型在逻辑推理方面的能力。该仓库还提供标准化数据操作和统一模型接口，方便用户进行模型量化和性能评估。