quantbench-leaderboard-data

QuantBench 排行榜数据集是一个用于量化基准测试的原始数据集合，记录了对多种模型进行 GPTQ/AWQ 量化后的校准质量结果。数据集包含 331 行数据，其中 239 行成功、92 行失败（失败案例同样发布，因为记录在案的失败本身也是一种发现）。数据涵盖的模型包括 Qwen/Qwen2.5-1.5B-Instruct、HuggingFaceTB/SmolLM2-1.7B-Instruct、deepgrove/Bonsai、Qwen/Qwen2.5-3B-Instruct 和 HuggingFaceTB/SmolLM3-3B 等，大小从 0.5B 到 3B 不等。文件结构包括：`rows.csv` 提供完整表格（字段定义见排行榜网站，评估协议见方法论页面）；每个行对应的 `<row_id>.json` 文件包含相同字段；`niche_rows.csv` 提供任务级别的 niche 列（如 HumanEval pass@1、FiQA-2018 情感准确率等）与同栈 fp16 基线的对比；`logs/` 目录包含运行时的驱动日志、最后心跳和消费记录；`pools/BUILD.md` 提供校准和评估文本池的精确复现配方（不重新分发第三方语料）。数据集还附带了诚实性说明：GPTQ 行使用了 torch-fallback 内核（非优化内核），困惑度不受影响但吞吐量偏低；fp16 基线按栈不同，`ppl_delta_vs_fp16` 仅在同一栈和同一 GPU 层级内可比；`webgpu_runnable` 字段在所有行上标记为 `[UNVERIFIED]`（未进行浏览器测量）。该数据集适用于量化方法对比、模型性能分析、以及量化失败模式的记录与复现研究。The QuantBench Leaderboard dataset is a collection of raw data for quantization benchmarking, recording calibration quality results after GPTQ/AWQ quantization on various models. It contains 331 rows, with 239 successful and 92 failed cases (failures are also published as documented failures are a discovery themselves). Models covered include Qwen/Qwen2.5-1.5B-Instruct, HuggingFaceTB/SmolLM2-1.7B-Instruct, deepgrove/Bonsai, Qwen/Qwen2.5-3B-Instruct, and HuggingFaceTB/SmolLM3-3B, ranging from 0.5B to 3B parameters. File structure includes: `rows.csv` providing the full table (field definitions on the leaderboard website, evaluation protocol on the methodology page); corresponding `<row_id>.json` files for each row with identical fields; `niche_rows.csv` providing task-level niche columns (e.g., HumanEval pass@1, FiQA-2018 sentiment accuracy) compared to the same-stack fp16 baseline; `logs/` directory containing runtime driver logs, last heartbeat, and consumption records; `pools/BUILD.md` providing exact reproduction recipes for calibration and evaluation text pools (without redistributing third-party corpora). The dataset also includes honesty notes: GPTQ rows use torch-fallback kernels (non-optimized), perplexity unaffected but throughput lower; fp16 baselines vary by stack, `ppl_delta_vs_fp16` comparable only within the same stack and GPU tier; `webgpu_runnable` field marked as `[UNVERIFIED]` on all rows (no browser measurements performed). This dataset is suitable for quantization method comparison, model performance analysis, and recording/reproducing quantization failure modes.

原始信息汇总

数据集概述

该数据集是 QuantBench leaderboard 的原始基准数据，记录了不同模型在 GPTQ/AWQ 量化下的校准质量、校准语料库和 GPU 层级等维度的表现。数据共包含 331 行（其中 239 行成功，92 行失败），并且失败结果也被公开，作者认为失败的记录同样具有研究价值。

包含的模型

• Qwen/Qwen2.5-1.5B-Instruct（1.5B）
• HuggingFaceTB/SmolLM2-1.7B-Instruct（1.7B）
• deepgrove/Bonsai（0.5B）
• Qwen/Qwen2.5-3B-Instruct（3B）— 许可待定，仅提供行数据，不含权重
• HuggingFaceTB/SmolLM3-3B（3B）

文件结构

• rows.csv：完整表格数据（列定义见 leaderboard 网站，评估协议见方法论页面）。
• <row_id>.json：每个行对应一个 JSON 文件，字段与 rows.csv 中相同。
• niche_rows.csv：针对相同工件的任务级细分列，包括：
  • HumanEval[0:50] pass@1
  • FiQA-2018 情感准确率（flare-finqa 在此 token 下受限，每行记录仪表数据）
  • SEC 文件上下文漂移
  • 10-prompt ROUGE-L 一致性
  • 每个指标均与同栈 fp16 基线对比；失败/跳过也记录为行。
• logs/：运行时的驱动日志、最后心跳和预算账本（原始运行日志，未加工）。
• pools/BUILD.md：复现校准/评估文本池的精确配方，不包含任何第三方语料文本。

数据可靠性说明

• GPTQ 行使用了 gptqmodel 的 torch 回退内核（load_backend 列），而非优化内核；困惑度不受影响，但吞吐量可能偏低。
• fp16 基线是每栈独立配置（autoawq 与 gptqmodel 使用不同的 torch/transformers 版本），因此 ppl_delta_vs_fp16 只能在同一栈和同一 GPU 层级内比较，不能跨栈或跨层级比较。
• webgpu_runnable 列在所有行均为 [UNVERIFIED]，未进行浏览器端测量。
• 数据为机器生成，欢迎独立验证；任何单行应视为数据点，而非“认证结果”。