rtx5090-5m-bench

该数据集是一个为特定基准测试生成的人工合成工作负载，用于评估在NVIDIA RTX 5090 GPU上使用NVFP4量化（W4A4）的Llama-3.1-8B-Instruct模型通过vLLM框架服务的性能。工作负载的核心目标是模拟多用户并发请求，以找到在满足每个模拟用户最低输出令牌速率（≥15 tokens/秒）的前提下，能够最大化聚合输出令牌吞吐量的并发用户数N。工作负载由一系列预定义的对话请求构成，这些请求根据总上下文长度（提示令牌数 + 请求的输出令牌数）被划分为7个等权重的桶：1,000、2,000、4,000、8,000、16,000、24,000 和 30,000令牌。每个请求的提示部分经过聊天模板处理，包含系统消息和多样化的自然语言内容，以确保其唯一性，从而在测试中禁用前缀缓存（模拟保守的未缓存服务场景）。每个请求强制生成512个输出令牌（忽略EOS），并使用固定的生成参数（temperature=0）。该工作负载使用一个固定的随机种子和指定的Hugging Face分词器生成，并保存为`workload.jsonl`文件。其设计旨在压力测试服务端在混合不同长度上下文请求时的吞吐量、延迟和资源利用率，特别是针对NVFP4量化的权重、激活和键值（KV）缓存。工作负载的规模由并发用户数N和每个用户持续提交请求的5分钟测量窗口决定，其中每个请求的总令牌数严格限制在30,000以内。This dataset is an artificially generated synthetic workload for a specific benchmark, designed to evaluate the performance of the Llama-3.1-8B-Instruct model with NVFP4 quantization (W4A4) served via the vLLM framework on an NVIDIA RTX 5090 GPU. The core objective of the workload is to simulate multi-user concurrent requests to find the number of concurrent users N that maximizes the aggregated output token throughput while meeting a minimum output token rate per simulated user (≥15 tokens/second). The workload consists of a series of predefined dialogue requests, which are divided into 7 equally weighted buckets based on total context length (prompt tokens + requested output tokens): 1,000, 2,000, 4,000, 8,000, 16,000, 24,000, and 30,000 tokens. The prompt portion of each request is processed with a chat template, including system messages and diverse natural language content to ensure uniqueness, thereby disabling prefix caching in the test (simulating a conservative uncached service scenario). Each request is forced to generate 512 output tokens (ignoring EOS) and uses fixed generation parameters (temperature=0). The workload is generated using a fixed random seed and a specified Hugging Face tokenizer, saved as a `workload.jsonl` file. Its design aims to stress-test the servers throughput, latency, and resource utilization when handling mixed-length context requests, particularly focusing on NVFP4 quantized weights, activations, and key-value (KV) cache. The scale of the workload is determined by the number of concurrent users N and a 5-minute measurement window during which each user continuously submits requests, with the total tokens per request strictly limited to 30,000.

原始信息汇总

数据集概述：Manual RTX 5090 NVFP4 vLLM Benchmark Plan

数据集目标

本数据集旨在通过严谨的基准测试，确定在单张租用的RTX 5090显卡上，使聚合输出token吞吐量最大化的并发用户数N，同时确保每个模拟用户（simulated user）在精确5分钟测量窗口内获得至少15个输出token/秒的速率。测试结果受固定的上下文长度混合比例约束，并非适用于所有流量分布的通用容量数据。

核心优化问题

• 最大化：aggregate_output_tok_s(N, config)（聚合输出token/秒）
• 约束条件：
  • min(user_output_tok_s) >= 15.0（每位用户的最小速率）
  • measurement_window == 300 seconds（测量窗口精确为300秒）
  • prompt_tokens + requested_output_tokens <= 30,000（总token上限）
  • request_errors == 0（无请求错误）
  • engine_restarts == 0（无引擎重启）
  • OOM_events == 0（无内存溢出事件）
• 指标定义：
  • aggregate_output_tok_s = 所有用户输出token总和 / 300
  • user_output_tok_s[i] = 用户i输出token数 / 300
  • mean_user_tok_s = aggregate_output_tok_s / N
• 严格要求：严格约束的是每位用户的最小速率，而非仅平均值。

模型选择

• 模型：nvidia/Llama-3.1-8B-Instruct-NVFP4
• 模型信息：
  • NVIDIA发布的NVFP4量化版本，基于Meta Llama 3.1 8B Instruct。
  • 80亿参数，Llama架构，128k原生上下文限制，支持vLLM和NVIDIA Blackwell兼容性。
  • 对Transformer块线性权重和激活进行FP4量化，保留lm_head等选定组件为更高精度。
• 量化配置：quant_algo: NVFP4，quant_method: modelopt
• 推理引擎要求：
  • 对模型和KV缓存均使用NVFP4。
  • NVFP4 KV存储采用打包的4位数据和FP8块尺度（非完全无尺度的4位表示）。
  • 使用vLLM的ModelOpt FP4路径加载检查点。
  • 未量化层使用其检查点数据类型（--dtype auto）。
  • 主KV缓存使用NVFP4（--kv-cache-dtype nvfp4）。

执行兼容性说明（2026-07-10）

• 驱动570.144的RTX 5090在被拒绝并销毁前，CUDA初始化失败，错误码804（非支持硬件上的向前兼容尝试）。
• 驱动595.58.03的RTX 5090通过CUDA初始化，报告计算能力(12, 0)。v0.22.1稳定版镜像因原生NVFP4 KV启动路径失败被拒绝。
• 第三个试用的vLLM nightly镜像（sha256:a671d5fcda...）在SM120上报告trtllm_prefill=false、trtllm_decode=false，并在模型加载前拒绝NVFP4 KV。
• 通过窄范围兼容性补丁，使用FlashInfer 0.6.13 FA2 NVFP4-KV路径，在SM120上成功启动引擎并完成基准测试。
• 相同虚拟机用于BF16-KV对比测试：BF16启动使用FlashAttention v2，分配179,376个KV缓存token，32/31/28用户固定输出配置均未通过15 tok/s约束。无限输出变体因自然EOS过早结束，不可与强制512 token结果比较。

测试方法

工作负载生成

使用七个等权重的总上下文桶（Total context buckets），每个桶包含prompt token和固定的512个强制输出token：

总上下文	prompt token	强制输出token
1,000	488	512
2,000	1,488	512
4,000	3,488	512
8,000	7,488	512
16,000	15,488	512
24,000	23,488	512
30,000	29,488	512

• 使用种子生成workload.jsonl，确保prompt唯一性（前缀缓存未命中）。
• 每个请求参数：temperature = 0，max_tokens = 512，ignore_eos = true，stream = true。

测量与搜索流程

1. 五分钟测量窗口：每个候选并发数N运行300秒，记录aggregate_output_tok_s。
2. 自适应并发搜索：
   • 从7个用户开始，有效则加倍：7 -> 14 -> 28 -> 56 ...
   • 遇失败则减半，找到有效下限。
   • 在最后一个有效和第一个无效并发数之间二分搜索。
   • 对峰值吞吐和15 tok/s边界附近每个整数测试。
   • 对最佳N及其两个邻居重复测试三次。
   • 选择所有确认窗口中min_user_tok_s >= 15.0的最高中位聚合吞吐量。

引擎调优外循环

保持检查点和工作负载固定，对每种更改的服务器设置赋予新的config_id，重启、预热后重新执行并发搜索。调优顺序：

1. max-num-batched-tokens
2. max-num-seqs（至少不小于候选用户数）
3. 分块预填充大小、部分预填充并发和长预填充阈值
4. gpu-memory-utilization（从0.92谨慎向0.95–0.96调整）
5. NVFP4 KV尺度处理

结果记录与报告

• 每个完整五分钟后附加一行JSONL结果（含聚合吞吐、最小用户速率、延迟百分位、GPU利用率、功耗等）。
• 同时输出CSV行和终端行。
• 主要通过/失败判定基于300秒吞吐量和最小用户速率约束。
• 最终摘要包含：模型精确版本、GPU和主机信息、vLLM/CUDA/驱动版本、量化后端确认、KV缓存配置。

环境与资源

• 预算：约2-4 GPU小时（含预配、编译、粗搜索、细化、一轮调优和确认窗口）。
• 资源：单张按需RTX 5090（已验证可靠主机，直接SSH，足够磁盘，CUDA/驱动>=12.8）。

搜集汇总

数据集介绍

构建方式

该数据集构建于对NVIDIA RTX 5090显卡上运行NVFP4量化版Llama-3.1-8B-Instruct模型的系统性负载测试。构建过程遵循严格的实验设计，首先在Vast.ai平台上租赁单块RTX 5090实例，并验证其计算能力为SM120（Blackwell架构）。随后，部署特定的vLLM镜像版本，加载由ModelOpt框架提供的NVFP4 W4A4模型检查点，并启用NVFP4 KV缓存。为模拟真实用户流量，数据集生成了包含七个固定上下文长度段（从1,000至30,000个令牌）的均衡工作负载，每个请求强制生成512个令牌，并禁用前缀缓存以确保缓存未命中场景。最终，通过自适应并发度搜索（从7个用户开始并逐步加倍）确定在满足每个用户最低输出速率（15个令牌/秒）约束下的最大聚合吞吐量。

特点

该数据集的核心特点在于其严苛的约束条件和精细化的测量指标。它并非提供一个单一的吞吐量数值，而是构建了一个以用户服务质量为硬约束的优化问题，即最大化聚合输出令牌速率的同时，确保每个独立用户的最低速率不低于每秒15个令牌。数据集记录了每个300秒测量窗口内请求级别的延迟分布（包括TTFT和端到端请求延迟的p50/p95/p99值），并按照七个不同的上下文长度段进行分层统计，从而揭示长上下文请求可能导致的低速率或高延迟问题。此外，数据集的构建过程中严格排除了模型重加载、OOM事件和请求错误，保证了结果的纯净性。它还特别记录了NVFP4 KV缓存的真实实现细节（打包的4位数据配合FP8块缩放因子），而非简单的量化精度替换。

使用方法

使用该数据集时，研究者应首先参考其详细实验方案，在自己的硬件或云实例上复现测试环境。具体而言，需要准备一块支持SM120计算能力的NVIDIA Blackwell GPU，并安装包含NVFP4支持的特定版本vLLM（如经过补丁的夜间构建版）。数据集中的工作负载文件（workload.jsonl）可直接用于启动负载生成器，该生成器以恒定的请求流模式运行，每个模拟用户作为异步协程持续发送请求。评估流程包括启动vLLM服务器时指定合适的量化参数（如--quantization modelopt_fp4和--kv-cache-dtype nvfp4），然后执行预热的5分钟测量窗口。最终结果文件（JSONL格式）中的字段，如aggregate_output_tok_s和min_user_tok_s，可直接用于验证或比较不同配置下的性能表现，并作为进一步引擎调优的基准。

背景与挑战

背景概述

该数据集源于2026年对NVIDIA Blackwell架构RTX 5090显卡在低精度推理场景下的基准测试需求。由独立研究团队主导，聚焦于NVFP4（4位浮点）量化技术在大语言模型服务中的实际吞吐性能。核心研究问题为：在单张RTX 5090上，如何找到最大化聚合输出令牌吞吐量的并发用户数，同时保证每位用户至少获得15 tokens/s的速率。该数据集针对nvidia/Llama-3.1-8B-Instruct-NVFP4模型，记录了不同并发配置下的详细性能指标，为低精度硬件在实时推理场景中的应用提供了关键参考。其影响力体现在为Blackwell架构的NVFP4 KV缓存实现提供了首个公开的端到端基准测试框架。

当前挑战

该数据集面对的核心领域挑战是低精度量化在真实服务场景中的性能优化：NVFP4虽能大幅降低显存占用，但其非对称的4位存储与FP8块缩放结构在SM120架构上可能引发原生内核启动失败或性能退化。构建过程中遭遇多重技术障碍，包括旧驱动版本（如570.144）与CUDA 13.0的初始化失败、vLLM稳定版（v0.22.1）因FlashInfer缺少torch.nvfp4属性而崩溃、SM120上trtllm内核缺失导致NVFP4 KV缓存被拒绝。最终需通过精确指定vLLM镜像哈希（sha256:a671d5f...）并应用运行时补丁才能完成基准测试，凸显了新兴硬件与软件生态间的兼容性鸿沟。

常用场景

经典使用场景

在大型语言模型推理性能评估的学术疆域中，rtx5090-5m-bench数据集专为度量NVIDIA Blackwell架构RTX 5090显卡上部署的NVFP4量化模型（nvidia/Llama-3.1-8B-Instruct-NVFP4）在vLLM推理引擎下的吞吐量与服务质量而设计。其经典应用场景聚焦于通过固定上下文长度混合分布、强制输出512个令牌、禁止前缀缓存及零思考时间的模拟用户工作负载，系统性地探寻在满足每位用户至少每秒15个输出令牌的严格服务质量约束下，能够最大化聚合输出令牌吞吐量的最优并发用户数。该基准测试采用精准的300秒测量窗口、自适应括弧搜索算法以及严格的约束条件（如零请求错误、引擎重启与内存溢出事件），为研究NVFP4低精度推理在消费级显卡上的实际性能极限提供了标准化、可复现的评估范式。

解决学术问题

该数据集精准回应了低精度量化推理在消费级硬件上面临的核心学术挑战，即如何在极低比特精度（W4A4）结合原生NVFP4键值缓存条件下，兼顾高吞吐与每用户服务质量保障。它通过构建包含七个均匀分布的上下文长度桶（从1000至30000令牌）的混合负载，系统地揭示了长上下文场景下并发用户数与吞吐量之间的微妙权衡，解决了以往研究往往忽略个体用户速率约束或无法隔离长上下文对系统性能影响的方法论缺陷。其意义在于为低精度推理系统的容量规划提供了真实可靠的决策依据，明确了NVFP4量化方案在Blackwell架构上的实际效能边界，并为后续研究如何在高并发与服务质量之间寻求帕累托最优平衡奠定了坚实的实证基础。该工作还凸显了软件栈成熟度（如vLLM与FlashInfer对NVFP4键值缓存的原生支持）对实测性能的关键影响，推动了推理系统评估从粗放聚合指标向精细化、约束驱动的方向演进。

衍生相关工作

该数据集的诞生将催生一系列围绕Blackwell架构低精度推理性能的衍生研究工作。首先，其评估流程可直接复用于其他模型大小（如Llama-3-70B）或不同量化方案（如FP8权重量化、NF4或GPTQ）在RTX 5090上的对比基准测试，形成类似于MLPerf推理基准的硬件特化评测。其次，研究人员可基于其公开的负载分布与结果格式，深入研究上下文长度分布对KV缓存压力与调度策略的影响，从而设计出更智能的分块预填充或优先级调度算法。此外，该数据集还可变体用于评估前缀缓存、连续批处理等高级推理优化技术的边际收益。最后，其发现的工程兼容性问题（如驱动版本限制、FlashInfer对NVFP4键值缓存的适配）将直接推动vLLM等开源推理框架的缺陷修复与功能增强，促进低精度推理生态系统的成熟与标准化。