protoLabsAI/lab-benchmarks

该数据集是protoLabsAI的实验室基准测试数据，用于支持模型卡中的所有数值结果。它包括发布门控结果（如量化与bf16基线的比较、配对任务集、异常值重试）、速度测试v2机制矩阵（采用InferenceMAX风格：使用种子随机数据集、客户端TTFT/TPOT的p50/p99指标、良好吞吐量）、解码深度阶梯以及一致性探测判定。方法论强调：单流数据仅在负载数据下发布；每个工作负载报告规范解码接受率（随机数据基准测试会低估约2.5倍）；基于LLM判断的测试套件需通过确定性测试门控。测试工具为protoLabsAI/protoLab评估框架。每行数据中的vram_gb表示发布的权重文件大小（GB），作为质量与VRAM图表的可追溯X轴；GGUF行使用特定量化变体的文件（如NVFP4 gguf，而非同一仓库中的Q8_0）。数据集遵循CC-BY-4.0许可证，鼓励引用、使用和讨论。This dataset comprises lab benchmarks for protoLabsAI, providing traceable data for all numbers on model cards. It includes release-gate results (e.g., quantization vs. bf16 baseline, paired task sets, outliers retrialed), speed-test-v2 regime matrices (InferenceMAX-style: seeded random dataset, client-side TTFT/TPOT p50/p99, goodput), decode-at-depth ladders, and coherence-probe verdicts. Methodology: single-stream-only numbers are published only with load numbers; spec-decode acceptance rate is reported per workload (random-data benches understate it by ~2.5x); LLM-judged suites are gated behind deterministic ones. Harness: protoLabsAI/protoLab evals. The vram_gb per row indicates the published weight-file size in GB (the downloadable artifact), serving as the traceable X-axis for quality-vs-VRAM charts; GGUF rows use specific quant variant files (e.g., NVFP4 gguf, not Q8_0 from the same repo). Licensed under CC-BY-4.0 for citation, reuse, and discussion.

搜集汇总

数据集介绍

构建方式

在语言模型性能评估的复杂生态中，每一项标注于protoLabsAI模型卡片的数字，均可追溯至lab-benchmarks数据集中的具体行记录。该数据集围绕三种核心评估维度构建：发布基准测试——包括量化模型与BF16基线在成对任务集上的对比、异常值的三轮双侧重测；速度测试v2——采用InferenceMAX风格的随机种子数据集，记录客户端TTFT与TPOT的p50/p99百分位以及有效吞吐量；深层解码阶梯与一致性探测判决。所有单流数值均伴随负载数据发布，推测解码接受率按工作负载分别报告，而LLM评判的测试套件则以确定性基准为前置门槛，借助protoLabsAI/protoLab评估框架执行。

特点

该数据集的核心特色在于其可追溯性与计量严谨性。每一行的vram_gb字段直接对应模型权重的下载文件大小（单位为GB），作为性能与显存占用关系图的精确横轴坐标；GGUF格式的行采用特定量化变体的独立文件（如NVFP4的gguf文件），而非仓库总大小。数据集捕捉了随机数据环境下推测解码接受率相较于实际工作负载约2.5倍的低估偏差，确保了负载条件下的性能洞察。通过将LLM评判套件置于确定性基准之后，数据集的评估优先级确保了实验结果的可重复性与可靠性。采用CC-BY-4.0许可协议，鼓励学术引用、复用与论证。

使用方法

研究者可通过访问protolabs.studio/lab获取数据集对应的可视化图表，以直观理解性能与资源消耗的权衡。使用时，应依据模型卡片上的指标标签检索对应的行记录，需注意数值依赖于特定的量化方法（如NVFP4）与评估框架。对于速度测试，需采用InferenceMAX风格的客户端计算TTFT与TPOT指标。建议在对比模型性能时，优先参考负载条件下的多流结果，避免依赖单流数据；在涉及推测解码时，需根据工作负载类型校准接受率。该数据集适用于量化影响分析、服务延迟优化及模型压缩技术的效果验证场景。

背景与挑战

背景概述

protoLabs的lab-benchmarks数据集于近期创建，旨在为大规模语言模型（LLM）的量化推理与部署性能提供可追溯、可复现的基准评估体系。该数据集由protoLabsAI团队主导构建，核心研究问题在于如何将模型卡中的性能指标（如量化精度、服务吞吐量）与底层实验数据一一对应，从而解决当前量化研究中常见的结果不可验证、数据不可追溯的困境。lab-benchmarks通过规范化的方法——如量化与BF16基线的成对对比、负载与非负载下的单流数据联合发布、以及基于确定性评估的门控机制——在低精度计算（如NVFP4）与LLM服务优化领域树立了新的可信节点，对推动高效推理落地具有标杆意义。

当前挑战

当前核心挑战涵盖两大方面。其一，在领域问题层面，量化技术常因评估数据集分布与真实服务负载的差异而高估实际收益，spec-decode的接受率在随机数据上被低估约2.5倍，需设计工作负载导向的评估协议以弥合实验室与生产环境的鸿沟。其二，在数据集构建过程中，如何确保每行记录的仓储开销（vram_gb）精确对应量化变体的具体权重文件（如NVFP4的GGUF而非同仓库的Q8_0），避免因文件引用歧义导致基准塌缩；同时，面对LLM评判套件的不可靠性，需将其置于确定性任务之后，并建立异常结果的多次重试机制（x3双侧），以平衡评估效率与统计鲁棒性。

常用场景

经典使用场景

在大型语言模型（LLM）的评估与优化领域，lab-benchmarks数据集扮演着度量基准的核心角色。其经典使用场景聚焦于量化模型性能与资源消耗之间的权衡关系，特别是在不同精度（如NVFP4、BF16）和推理框架（如GGUF）下，系统性地记录模型的延迟、吞吐量、显存占用以及生成质量。该数据集通过统一的方法论——例如在随机种子数据集上测量客户端侧的TTFT与TPOT百分位数、报告无负载下的单流性能与有负载下的真实表现——为研究人员提供了可复现、可比较的标准化评估基线。此外，它专门针对投机解码（speculative decoding）场景，统计不同负载下的接受率，纠正了随机数据基准测试中常见的约2.5倍低估偏差，从而更真实地反映加速效果。

实际应用

在实际工业部署中，lab-benchmarks指导着LLM服务基础设施的选型与调优决策。企业可以依据该数据集中的“速度测试v2”矩阵，针对特定硬件（如GPU架构）选择最优的量化格式与批量尺寸，以在满足服务等级目标（如TTFT p99 < 100ms）的前提下最大化吞吐量。例如，在边缘设备或资源受限场景中，通过查阅NVFP4 GGUF变体的显存占用与解码深度阶梯数据，工程师能够权衡模型压缩程度与长文本生成质量。此外，数据集通过报告“goodput”（即同时满足质量与速度阈值的有效产出）指标，帮助运维团队在生产环境中动态调整分解深度（decode-at-depth），实现资源效率与用户体验的平衡。

衍生相关工作

lab-benchmarks的发布催生了一系列衍生研究与实践。在量化领域，它激发了针对NVFP4格式的硬件协同设计工作，例如专门为4位浮点运算定制的CUDA内核开发，以及基于该数据集显存-质量图表的新量化感知训练方法。推理引擎如vLLM和protoLabs的InferenceMAX直接采纳了其负载矩阵与TTFT/TPOT测量规范，作为性能回归的门控标准。学术界围绕该数据集展开了投机解码接受率偏差的深入分析，提出了面向真实工作负载的自适应采样策略。此外，其CC-BY-4.0许可协议鼓励社区基于同一套数据创建衍生榜单（如“质量-显存帕累托前沿排行榜”），推动了LLM服务评估领域的标准化与透明度。