garden-quant-bench
收藏资源简介：
Garden Quant Bench 是一个用于记录量化模型包发布前门控测试结果的基准数据集。该数据集由 majentik 组织维护，旨在为每个量化包在独立发布通道中经过确定性一致性烟雾测试（包括贪婪短生成、空输出、循环、脚本漂移和特殊标记泄露检测）提供证据。测试通过的包会被上传，未通过的则被拒绝并记录在数据集中。数据集包含 53 条记录（51 条已上传，2 条被拒绝），每条记录以 JSON 对象形式存储在 data/records.jsonl 文件中。每条记录包含以下字段：lane（模型谱系）和 format（量化格式，如 mlx 或 gguf）、tier（量化级别，如 4bit、MXFP4、Q2_K）、repo_id（上传后的目标仓库，仅当上传时存在）、source_repo 和 source_revision（上游检查点）、pack_size_gb（量化包大小）、gate_ok 和 gate_reason（一致性测试结果及原因）、word_count 和 special_token_spans（门控信号指标）、gate_output（原始烟雾生成文本，失败时可能为空）、uploaded（是否已上传）、started_at、finished_at 和 wall_s（时间记录）。数据集覆盖的模型谱系包括：BigBang-v1（mlx）、DeepSeek-V4-Flash-0731（gguf）、KAT-Coder-V2.5-Dev（mlx）、LFM2.5-2.6B（mlx）、Mistral-Medium-3.5-128B（mlx）、Muse-Glimmer-30B（mlx）、Nemotron-3.5-Lightning-30B-A3B（mlx）、Qwen3.8-27B（mlx）、Shieldstral-1.0-3B（mlx）和 nomic-embed-text-v2-moe（gguf）。数据集的生成脚本和门控逻辑位于 GitHub 仓库 ajentik/majek 的 pipelines 目录下。
Garden Quant Bench is a benchmark dataset for recording the gating test results of quantized model packages before release. It is maintained by the majentik organization and aims to provide evidence for each quantized package that has undergone deterministic consistency smoke tests (including greedy short generation, empty output, looping, script drift, and special token leakage detection) in an independent release channel. Packages that pass the tests are uploaded, while those that fail are rejected and recorded in the dataset. The dataset contains 53 records (51 uploaded, 2 rejected), each stored as a JSON object in the data/records.jsonl file. Each record includes the following fields: lane (model lineage) and format (quantization format, e.g., mlx or gguf); tier (quantization level, e.g., 4bit, MXFP4, Q2_K); repo_id (target repository after upload, present only if uploaded); source_repo and source_revision (upstream checkpoints); pack_size_gb (package size); gate_ok and gate_reason (consistency test result and reason); word_count and special_token_spans (gating signal metrics); gate_output (original smoke generation text, may be empty on failure); uploaded (whether uploaded); started_at, finished_at, and wall_s (time records). The model lineages covered include: BigBang-v1 (mlx), DeepSeek-V4-Flash-0731 (gguf), KAT-Coder-V2.5-Dev (mlx), LFM2.5-2.6B (mlx), Mistral-Medium-3.5-128B (mlx), Muse-Glimmer-30B (mlx), Nemotron-3.5-Lightning-30B-A3B (mlx), Qwen3.8-27B (mlx), Shieldstral-1.0-3B (mlx), and nomic-embed-text-v2-moe (gguf). The generation scripts and gating logic are located in the pipelines directory of the GitHub repository ajentik/majek.
Garden Quant Bench 数据集详情
数据集概览
Garden Quant Bench 是一个用于记录量化模型发布门禁（release-gate）验证结果的数据集，包含 53 条记录（51 个已发布，2 个被暂扣），采用 Apache-2.0 许可证。该数据集为 majentik 组织下发布的量化模型包提供分层发布门禁的证据记录。
数据内容与格式
- 数据文件:
data/records.jsonl，每行一个 JSON 对象 - 验证机制: 所有量化模型在发布前需通过确定性一致性冒烟测试（greedy short generation），检验内容包括空输出、循环、脚本漂移和特殊标记泄漏；未通过的层级会被暂扣，暂扣记录也包含在数据集中
数据字段说明
| 字段类别 | 具体字段 | 说明 |
|---|---|---|
| 身份信息 | lane / format |
源模型通道及打包格式（mlx/gguf） |
| 量化信息 | tier |
量化层级（如 4bit、MXFP4、Q2_K） |
| 仓库信息 | repo_id / source_repo / source_revision |
目标仓库（仅在已上传时存在）及上游固定版本 |
| 文件信息 | pack_size_gb |
量化包大小 |
| 门禁结果 | gate_ok / gate_reason |
一致性门禁判定及其原因 |
| 信号数据 | word_count … special_token_spans |
门禁信号 |
| 输出数据 | gate_output |
原始冒烟生成结果（失败时可能为空） |
| 发布状态 | uploaded |
该层级是否已发布 |
| 时间信息 | started_at / finished_at / wall_s |
层级运行耗时 |
覆盖的模型通道
数据集涵盖 10 个模型的量化记录：
- BigBang-v1 (mlx)
- DeepSeek-V4-Flash-0731 (gguf)
- KAT-Coder-V2.5-Dev (mlx)
- LFM2.5-2.6B (mlx)
- Mistral-Medium-3.5-128B (mlx)
- Muse-Glimmer-30B (mlx)
- Nemotron-3.5-Lightning-30B-A3B (mlx)
- Qwen3.8-27B (mlx)
- Shieldstral-1.0-3B (mlx)
- nomic-embed-text-v2-moe (gguf)
生成工具
该数据集由 pipelines/garden_quant_bench.py 脚本生成，门禁逻辑位于 pipelines/coherence_gate.py，代码仓库为 ajentik/majek。
