tessera-quantization-research-evidence

Tessera 量化研究证据数据集是一个持续更新的原始测量数据集合，源自一项针对校准低比特量化（包括三元量化、int4 和向量量化码本）在异构 AMD 硬件（RDNA3 iGPU、XDNA1/2 NPU、Zen 4/5 CPU）上进行 LLM 推理的正在进行的研究项目。该研究基于 llama.cpp 的一个分支（项目名“Tessera”），增加了校准的逐张量三元/payload4/VQ 量化、NPU 卸载和 RDNA3 原生 GPU 内核。数据集包含：运行中的发现/事故/纠正日志（gap-ledger.md）、研究计划、AMD NPU 架构背景调查，以及多个实验目录（如 w1/、w2/、w3/ 等），每个目录包含日志、JSON 测量输出、代表性 GGUF 量化模型工件和 logit 比较转储。原始研究树约 310GB，但发布时排除了临时中间文件、备份文件和两个全精度源模型副本，仅保留关键证据。该数据集是活的，随着研究进展不断更新。它提供了透明度、可复现性，并允许其他人验证和使用这些证据。主要用途包括量化研究、基准测试和再现性验证。The Tessera Quantization Research Evidence Dataset is a continuously updated collection of raw measurement data from an ongoing research project on calibrated low-bit quantization (including ternary quantization, int4, and vector quantization codebooks) for LLM inference on heterogeneous AMD hardware (RDNA3 iGPU, XDNA1/2 NPU, Zen 4/5 CPU). The research is based on a fork of llama.cpp (project name Tessera), adding calibrated per-tensor ternary/payload4/VQ quantization, NPU offloading, and RDNA3 native GPU kernels. The dataset includes: runtime discovery/accident/correction logs (gap-ledger.md), research plans, AMD NPU architecture background investigation, and multiple experiment directories (e.g., w1/, w2/, w3/, etc.), each containing logs, JSON measurement outputs, representative GGUF quantized model artifacts, and logit comparison dumps. The original research tree is about 310GB, but temporary intermediate files, backup files, and two full-precision source model copies are excluded upon release, retaining only key evidence. The dataset is live and updated as research progresses. It provides transparency, reproducibility, and allows others to verify and use the evidence. Primary uses include quantization research, benchmarking, and reproducibility verification.

原始信息汇总

Tessera 量化研究证据数据集

数据集概述

本数据集是一个正在进行的科研项目的原始测量证据集，专注于研究用于LLM推理的低比特量化技术（三元量化、int4、向量量化码本），目标硬件平台为异构AMD设备（RDNA3 iGPU、XDNA1/2 NPU、Zen 4/5 CPU）。研究基于llama.cpp的一个分支（项目代号"Tessera"）开展，该分支增加了校准的逐张量三元/payload4/VQ量化、NPU卸载和RDNA3原生GPU内核支持。

数据性质与更新状态

• 本数据集为原始研究证据，而非精心整理的基准测试集
• 包含报告、测量日志、代表性量化模型产物，以可复现和透明性为发布目的
• 数据集持续更新，随研究进展不断补充新证据
• 初始发布为第五开发波次中期快照，后续历经多次更新，当前版本新增了第七波次（wave 7）的证据

数据集内容

顶层文件

• gap-ledger.md：持续追加的研究发现/事件/修正日志，记录所有真实bug、矛盾或测量异常及其根因和解决状态
• ternary-fidelity-refinement-plan.md：研究计划文档（测量内容及原因）
• amd-npu-patent-survey.md：AMD XDNA NPU架构背景研究

实验证据目录

包含多个按实验波次组织的目录（w1至w3、w-metric、w-remeasure、w-mixed-precision、w-calib、w-kvharness、w-vulkan-spike、decode-smoke、w-escape2、w-spec-db、w-fidelity-fit、w-mm-gemma4、w-moe-qwen、w-quantize-decomp、w-nemotron、w-vulkan-default、w-residual），每个目录包含相应实验的日志、JSON测量输出，以及（如适用）代表性GGUF量化模型产物和logit比较转储。

第七波次（Wave 7）重点内容：

w-nemotron/：对Nemotron转换器进行首次真实（非纯静态分析）验证，针对nemotron-3.5-lightning-30b-a3b NVFP4检查点（128个路由专家，混合Mamba-Transformer架构）。发现并修复11个转换器bug，提出文档化的两步转换管线，共记录15个真实独立发现（GAP-w-nemotron-1至-15）。ggufs/目录包含两个头条参考产物（NVFP4原生和均匀Q8_0衍生）以及一个Q8_0冒烟imatrix运行（5888个*.calib_x张量覆盖全部128个专家）。

w-vulkan-default/：同一会话、同一模型、同一imatrix条件下Vulkan与HIP后端对比（granite-4.1-3b-dense模型）。GPU调度推理阶段Vulkan比HIP慢3.9%，在≤25%成本门槛内；bf16-self/Q8_0/Q4_K保真度的后端不变性得到确认（≤0.02指标差异）。三元推理腿在两个后端上均遇到真实的、与后端无关的引擎bug（GAP-w-vulkan-default-1，已记录未修复）。包含两个构建的量化GGUF、各条件的logit转储、保真度比较JSON及小型Vulkan imatrix CPU回退探针。

w-residual/：小型内存内比较结果（r4.6-r5.5-inmemory-comparison.json）。

排除内容说明

源证据树约310GB，发布时基于以下原因刻意排除：

排除项	原因
ttt/和ttt-*/子目录（全bf16模型重建中间体，~100GB+）	测量管道的临时产物，非额外信息
*.at_*增量imatrix检查点文件（~84GB）	长校准运行的崩溃恢复快照，最终文件已包含全部信息
*.bak备份文件	已被当前文件取代
w-mixed-precision/中8轮近相同稳定性扫描中的5轮	仅保留首尾两轮作为起止对比点，所有日志和JSON指标完整保留
两份全精度源模型副本（gemma4-12b-bf16.gguf和ornith-1.5-35b-a3b-bf16.gguf）	公开模型的格式转换，非本项目自身量化输出

无任何因不便或不利而删除的内容——gap-ledger完整记录了负面结果、混杂发现和自我修正。

衍生模型许可信息

数据集中的GGUF产物是对以下四个基础模型的量化衍生，由本项目自有量化管道生成：

• IBM Granite 4.1 3B（Apache 2.0）
• HuggingFace SmolLM2（Apache 2.0）
• Google gemma-4-12B-it（Apache 2.0，建议阅读Gemma 4许可证页面获取权威条款，另需遵守禁止使用政策）
• ornith-ai/Ornith-1.5-35B-A3B（MIT）

不包含任何第三方受限或门控许可的模型权重。

阅读建议

gap-ledger.md是最佳入口，按日期组织的发现结构，每条包含what（内容）/measured vs required（测量值对比要求值）/status（状态）三部分，并通过名称隐式关联到对应实验目录（例如标记为w-remeasure的发现指向w-remeasure/目录获取原始数据）。

搜集汇总

数据集介绍

构建方式

该数据集源自一项针对异构AMD硬件上大语言模型推理的低比特量化（三值、int4、向量量化码本）的持续研究计划，收录了来自llama.cpp分支项目“Tessera”的原始测量证据。数据按实验波次（wave）组织，每个波次对应独立的实验目录，包含日志、JSON测量输出、代表性GGUF量化模型工件及logit对比转储。数据集还附带一份持续追加的gap-ledger.md，记录所有发现、事故与修正，以及研究计划文档和AMD NPU架构背景调研。构建过程注重透明性和可复现性，明确排除了约310GB源证据树中的冗余中间产物，如全精度模型重建、增量imatrix检查点及备份文件，仅保留最终量化产物与完整日志。所有证据均为真实实验记录，包括负面结果和未修复的bug，未进行美化或选择性删除。

特点

该数据集的核心特征在于其作为原始研究证据而非精选基准套件的定位，强调真实性和过程透明度。它涵盖了多代模型（Granite、SmolLM2、Gemma 4、Ornith）在混合精度、KV缓存量化、Vulkan与HIP后端对比、并发调度、熵编码可行性等维度的系统测量，并包含大量负面结果与自我修正记录，如实反映研究过程中的曲折。数据集持续更新，随着研究波次推进不断加入新证据，当前已包含第8波次的实验。其独特之处在于提供了同一模型在不同量化格式、不同后端下的可复现测量数据，以及详细的bug根因分析（如Vulkan下缺失调度case导致的性能悬崖），为低比特量化在异构硬件上的实际部署提供了实证基础。

使用方法

使用该数据集时，建议从gap-ledger.md入手，它按日期组织的发现条目（含what/measured vs required/status结构）能快速定位关键问题及对应实验目录。对于特定研究问题，用户可直接进入相关波次目录，查看原始日志、JSON指标和GGUF工件，复现测量流程。该数据集适合用于验证量化方法的实际效果、分析后端差异、研究调度瓶颈等。由于包含大量负面结果，可利用其避免重复探索已知死路。对于希望构建类似量化管线的开发者，可参考其中的转换器（如nemotron.py）和内核实现（如Vulkan着色器）及对应的验证方法。数据集中的衍生模型工件受Apache 2.0、MIT等许可证约束，使用时应遵守相应条款。

背景与挑战

背景概述

Tessera Quantization Research Evidence数据集诞生于一项持续演进的研究计划，该计划致力于在异构AMD硬件（包括RDNA3集成GPU、XDNA1/2 NPU及Zen 4/5 CPU）上实现校准的低比特量化（三值、int4、向量量化码本）以支持大语言模型推理。该数据集由Tessera项目团队创建，项目源于对llama.cpp的分支开发，引入了校准的逐张量三值/payload4/VQ量化、NPU卸载及RDNA3原生GPU内核。作为原始研究证据而非精选基准，它记录了研究过程中的测量日志、量化模型工件及发现，旨在提供可复现性和透明度。该数据集持续更新，已涵盖多个开发波次，吸引了包括M3m、V2v、V3v、H3c、K4e及V4v等研究人员参与，其核心研究问题在于验证量化方案在异构硬件上的保真度与性能，对低比特量化领域产生了重要影响，为校准量化方法提供了实证基础。

当前挑战

该领域面临的挑战包括：在极端低比特（三值、int4）下保持模型保真度，同时确保推理性能满足实用要求；异构硬件（GPU、NPU、CPU）间的调度与内核兼容性，如Vulkan后端对特定操作的支持缺失导致性能骤降；熵编码压缩收益的边际性，实测熵仅3.72比特/权重，远低于预设3.0-3.5比特的有价值区间，促使研究止步；以及构建过程中的挑战涵盖：多模型、多量化方案的日志与工件管理，大规模数据筛选（约310GB中精选），处理引擎缺陷（如Vulkan对三值操作的CPU回退）、调度器序列化导致的TTFT恶化，以及协调多开发者波次迭代的版本控制与误差记录，考验了研究组织的系统性与严谨性。

常用场景

经典使用场景

本数据集作为一份不断演进的原始研究证据集，为低比特量化领域的研究者提供了无价的实证资料。其核心用途在于深入探索三元量化、int4量化及向量量化码本在异构AMD硬件（如RDNA3 iGPU、XDNA1/2 NPU、Zen 4/5 CPU）上部署大型语言模型（LLM）的性能与保真度。研究者可基于其中的日志、JSON测量输出及GGUF格式模型伪影，复现实验流程，对比校准与非校准三元量化、混合精度策略及不同KV缓存量化方式的效果，从而精准评估各技术路线的权衡。

实际应用

在实际应用中，该数据集直接指导了llama.cpp分支（Tessera项目）的开发，其产出的量化GGUF模型和高效的GPU内核（如Vulkan compute shader）可直接用于在AMD消费级和嵌入式设备上部署LLM。数据集中的性能对比（如Vulkan与HIP后端）和调度优化发现，为边缘计算、本地推理服务及混合CPU-GPU流水线设计提供了宝贵的工程指导，助力实现低成本、低延迟的LLM推理解决方案。

衍生相关工作

围绕该数据集，衍生出了一系列关键的后续研究与实践工作。包括对Vulkan后端缺失计算着色器的补充实现，直接修复了先前发现的性能瓶颈，验证了Vulkan后端在低比特量化LLM推理中的可行性。此外，研究中对新型模型架构（如Nemotron的混合Mamba-Transformer）的转换与量化流程探索，推动了量化工具链对不同架构的适配。而关于熵编码压缩的负结果报告，则为免于无效研究提供了重要参考，引导后续研究聚焦于更可行的量化压缩途径。