rtx-5090-benchmarks

RTX 5090 LLM Benchmarks是一个在NVIDIA RTX 5090 32GB GPU上对量化大型语言模型（LLMs）进行综合基准测试的数据集，使用llm-bench-rig工具生成。该数据集包含质量和速度两方面的评估结果：质量基准测试覆盖了多个标准自然语言处理和代码生成任务，包括MMLU（常识推理）、ARC-Challenge（科学推理）、HellaSwag（常识推理）、GSM8K（数学问题解决）和HumanEval（代码生成），提供了Gemma 4、Qwen3.6、Nemotron-Cascade等多个模型在不同量化配置（如Q6_K、Q4_K_M）下的性能得分；速度基准测试测量了模型在多种上下文长度（128至16384）下的提示处理吞吐量和文本生成吞吐量，并记录了详细的硬件和软件配置信息。数据集采用结构化表格格式，包含模型参数、架构类型（密集或MoE）、量化方法、文件大小、推理引擎、GPU型号、VRAM容量、测试类型、吞吐量及标准差等字段。该数据集适用于比较不同量化LLM在特定硬件上的性能表现，为模型选择、部署优化和硬件评估提供参考。RTX 5090 LLM Benchmarks is a comprehensive benchmarking dataset for quantized large language models (LLMs) on the NVIDIA RTX 5090 32GB GPU, generated using the llm-bench-rig tool. The dataset includes evaluations in both quality and speed aspects: quality benchmarks cover multiple standard natural language processing and code generation tasks, including MMLU (commonsense reasoning), ARC-Challenge (scientific reasoning), HellaSwag (commonsense reasoning), GSM8K (mathematical problem-solving), and HumanEval (code generation), providing performance scores for models such as Gemma 4, Qwen3.6, and Nemotron-Cascade under various quantization configurations (e.g., Q6_K, Q4_K_M); speed benchmarks measure the prompt processing throughput and text generation throughput of models across various context lengths (128 to 16384), with detailed hardware and software configuration information recorded. The dataset is in a structured table format, containing fields such as model parameters, architecture type (dense or MoE), quantization method, file size, inference engine, GPU model, VRAM capacity, test type, throughput, and standard deviation. This dataset is suitable for comparing the performance of different quantized LLMs on specific hardware, providing reference for model selection, deployment optimization, and hardware evaluation.

原始信息汇总

数据集概述：RTX 5090 LLM Benchmarks

该数据集提供了在 NVIDIA RTX 5090 32GB 显卡上运行量化大语言模型的速度与质量基准测试结果。所有基准测试均通过 llm-bench-rig 工具完成。

1. 质量基准

该部分使用 llama-server 的聊天补全功能进行生成式评估，覆盖多项标准 NLP 基准测试。

• 评估模型与结果：包含 Gemma 4 31B-it、Qwen3.6-27B、Qwen3.6-35B-A3B、Qwen3-Coder-Next、Nemotron-Cascade-2、gpt-oss-20b 等模型，并记录了其在不同量化级别下的 MMLU、ARC-C、HellaSwag、GSM8K、HumanEval 分数。
• 评估方法：
  • 所有基准测试在 temperature=0，max_tokens=2048 的条件下运行。
  • 多项选择题使用生成式字母提取（Generative letter extraction）进行评分，而非对数似然（log-likelihood）评分，分数差异可能在 5-15% 之间。
  • 详细的基准配置：MMLU 使用 5-shot，ARC-Challenge 使用 25-shot，HellaSwag 使用 10-shot，GSM8K 使用 5-shot CoT，HumanEval 使用 0-shot pass@1（代码执行）。

2. 速度基准

该部分测量了模型的提示处理（PP）和文本生成（TG）吞吐量。

• 测量内容：
  • Prompt processing (pp)：在上下文长度 128、512、2048、4096、8192、16384 下的并行批量 token 吞吐量。
  • Text generation (tg)：在 128 tokens 下的顺序自回归 token 吞吐量。
  • 所有模型均完全卸载到 GPU。
• 数据模式：数据包含 model、architecture（Dense 或 MoE）、params_b、quant、size_gib、engine（llama.cpp 或 vLLM）、backend、gpu、vram_gb、test（如 pp128、tg128）、tokens_per_sec、stddev、date 等字段。
• 关键发现：在 Qwen3.6 系列模型上，MoE 架构（30亿活跃参数）相比 Dense 架构（270亿参数）在提示处理上快 2.4 倍，文本生成上快 3.5 倍。

3. 硬件与工具

• 硬件配置：NVIDIA GeForce RTX 5090 32GB GPU、AMD Ryzen 5 9600 CPU、64GB DDR5-5600 RAM、Ubuntu 26.04 LTS 操作系统、CUDA 12.8。
• 基准工具：llm-bench-rig 开源工具，用于 GGUF 和 safetensors 模型的速度与质量基准测试。

搜集汇总

数据集介绍

构建方式

该数据集源自一项针对NVIDIA RTX 5090 32GB显卡上量化大语言模型的系统性基准测试。构建过程依托于开源的llm-bench-rig流水线，通过llama-server聊天补全接口执行生成式评估，规避了对lm-evaluation-harness的依赖。速度测试则分别针对提示处理与文本生成两个阶段，在多种上下文长度下测量token吞吐量。所有模型均采用完全GPU卸载方式运行，确保硬件资源的充分利用。数据以CSV格式收录，并附带详尽的分模型报告。

特点

该数据集的核心特色在于其双维度评估体系：质量维度与速度维度。在质量层面，数据集覆盖了MMLU、ARC-Challenge、HellaSwag、GSM8K及HumanEval五大经典基准，采用生成式字母抽取而非loglikelihood评分，虽与对数概率方法存在5-15%的差异，但保证了模型间比较的内部一致性。速度维度则细分为提示处理与文本生成两类测试，特别揭示了混合专家模型相较于稠密模型在相同家族内可实现的2.4至3.5倍加速效果，并量化了长上下文场景下的性能衰减。

使用方法

用户可直接加载数据集中的benchmarks.csv文件进行探索性分析，或查阅reports目录下每款模型的详细报告以获取MMLU分类细项、解析可靠性统计及完整速度数据。数据集中各字段清晰定义了模型架构、参数量、量化方式、推理引擎及测试条件，便于研究人员进行多维度的横纵向对比。通过复现llm-bench-rig流水线，用户可在自有硬件上扩展测试范围，或针对特定模型与任务进行深入剖析。

背景与挑战

背景概述

RTX-5090-Benchmarks数据集由社区研究人员于2025年创建，旨在系统评估NVIDIA新一代Blackwell架构消费级显卡RTX 5090（32GB显存）上量化大语言模型的推理性能。该数据集依托llm-bench-rig开源基准测试流水线，针对Llama.cpp与vLLM推理引擎，涵盖多种量化格式（如Q6_K、Q4_K_M）下的混合专家（MoE）与稠密模型，在MMLU、ARC-Challenge、HellaSwag、GSM8K与HumanEval五个经典基准上完成质量与速度双维度评测。其核心贡献在于首次公开了RTX 5090在边缘端部署大模型时的吞吐量、延迟与准确性权衡数据，为消费级算力下高效推理提供了关键参考基准，对硬件选型、量化策略优化及模型压缩技术研究具有重要借鉴意义。

当前挑战

该数据集面临多重挑战。领域层面，消费级显卡显存限制（32GB）使得大参数模型（如79B的Qwen3-Coder-Next）需采用超低比特量化（Q2_K_XL），导致HumanEval编程任务通过率骤降至10.4%，凸显边缘端模型容量与任务复杂度的尖锐矛盾。构建过程中，生成式字母提取评分与对数概率法存在5-15%系统性偏差，且HumanEval的pass@1指标对温度0下的确定性采样敏感，可能低估代码生成能力。此外，MoE模型在16K长上下文下因注意力机制与显存瓶颈共同作用，吞吐量下降约17%，动态稀疏路由带来的实际加速比理论稀疏度（3B活跃参数 vs 27B稠密）存在差距，需要更鲁棒的调度策略来弥合硬件实测与理想加速之间的鸿沟。

常用场景

经典使用场景

在消费级GPU推理性能评估领域，RTX 5090作为NVIDIA Blackwell架构的代表性硬件，其能效与吞吐能力备受关注。该数据集系统性地提供了该显卡上量化大语言模型的推理速度与质量基准，涵盖从128至16384令牌的多级上下文长度下的提示处理吞吐量，以及128令牌下的文本生成速度。研究者可借此对比密集模型与混合专家模型在同一GPU上的性能差异，例如Qwen3.6系列中MoE架构在文本生成上达到3.5倍加速。这使得该数据集成为评估消费级硬件承载先进AI模型能力的标准参考。

实际应用

在边缘计算与个人AI工作站部署中，该数据集为硬件选型与模型选择提供了直接指导。例如，开发者可依据数据判断，在32GB显存约束下，Gemma 4 31B模型在Q6_K量化后可实现87.8%的MMLU准确率与97.5%的GSM8K得分，而Qwen3.6-35B-A3B的MoE变体在推理速度上显著领先。这有助于企业或独立研究者在搭建本地推理服务、代码辅助工具或教育型AI代理时，平衡延迟、内存占用与回答质量。数据集中的速度与质量综合指标，也直接支撑了算力有限的场景中高性能模型的实用化部署决策。

衍生相关工作

该数据集衍生了一系列关于量化模型在消费级GPU上部署的深化探索。例如，后续工作可基于其速度-质量权衡曲线，提出自适应量化策略，在运行时动态调整模型精度以适应不同任务需求。另外，该数据集催生了针对MoE架构在显存受限环境下推理优化的研究，例如设计更高效的专家路由机制以减少通信开销。在基准测试方法学上，它也推动了生成式评估与对数似然评估之间差异的量化分析，进而催生了更鲁棒的评估协议，如引入多数投票或自洽性检查来提升结果可靠性。