witcheer/rtx-5090-benchmarks

该数据集是NVIDIA RTX 5090 LLM基准测试的集合，专注于在NVIDIA RTX 5090 32GB GPU上对量化大型语言模型（LLM）进行速度和质量的评估。数据集包含质量基准测试（如MMLU、ARC-Challenge、HellaSwag、GSM8K和HumanEval），使用自定义评估器通过llama-server聊天完成进行生成式评估，并采用分层抽样（种子=42）和禁用思考模式。速度基准测试测量提示处理（并行批处理令牌吞吐量，上下文长度从128到16384）和文本生成（顺序自回归令牌吞吐量，128令牌），所有模型完全GPU卸载。数据集还包括硬件配置（如GPU、CPU、RAM）和工具（llm-bench-rig）的详细信息，以及关键发现（如MoE模型与密集模型的性能比较）。数据以CSV文件（benchmarks.csv）形式提供，适用于模型比较和推理优化研究。

This dataset is a collection of NVIDIA RTX 5090 LLM Benchmarks, focusing on speed and quality evaluations of quantized large language models (LLMs) on an NVIDIA RTX 5090 32GB GPU. It includes quality benchmarks (e.g., MMLU, ARC-Challenge, HellaSwag, GSM8K, and HumanEval) conducted via generative evaluation through llama-server chat completions using custom evaluators, with 50% stratified sampling (seed=42) and thinking disabled. Speed benchmarks measure prompt processing (parallel batched token throughput at context lengths from 128 to 16384) and text generation (sequential autoregressive token throughput at 128 tokens), with all models fully GPU-offloaded. The dataset also provides hardware specifications (e.g., GPU, CPU, RAM) and tooling details (llm-bench-rig), along with key findings (such as performance comparisons between MoE and dense models). Data is provided in CSV format (benchmarks.csv), suitable for model comparison and inference optimization research.

搜集汇总

数据集介绍

构建方式

该数据集基于NVIDIA RTX 5090 32GB显卡，采用llm-bench-rig开源流水线对量化大语言模型进行速度与质量评测。质量评测通过llama-server的聊天补全接口实现生成式评估，覆盖MMLU、ARC-Challenge、HellaSwag、GSM8K与HumanEval五项任务，并以无lm-evaluation-harness依赖的自定义评估器复现标准基准方法。速度评测则测量不同上下文长度下的提示处理与文本生成吞吐量。数据以CSV格式存储，包含模型名称、架构、参数量、量化方法、推理引擎等关键字段。

特点

该数据集的核心特色在于按推理模式将结果分为思考关闭与思考开启两组独立排名，避免了跨模式直接比较的偏差。数据中包含了MoE与稠密模型在同一家族上的对比，揭示了MoE架构在提示处理与文本生成速度上的显著优势。此外，数据集还附有多篇实地报告，深入探讨了特定模型在消费级硬件上的运行壁垒、蒸馏效果的真实性以及推理加速技术的实测表现，为社区提供了超越排行榜的深度洞察。

使用方法

用户可直接加载benchmarks.csv文件，利用模型名称、量化方法、推理引擎等字段进行查询与比较。数据集支持按思考模式分组筛选，以观察同一模型在不同推理设置下的质量差异。速度数据提供了多尺度上下文长度的吞吐量信息，便于评估模型在实际部署中的延迟表现。相关评测报告存放于reports目录，可结合原始数据进行交叉验证。该数据集适用于硬件选型、量化策略评估及推理引擎性能对比等场景。

背景与挑战

背景概述

随着大型语言模型（LLM）在消费级硬件上的部署需求日益增长，NVIDIA RTX 5090 32GB显卡作为Blackwell架构的代表性产品，其推理性能与量化模型的兼容性成为研究热点。该数据集由独立研究团队创建于2025年，旨在系统评估量化LLM在RTX 5090上的速度与质量表现。核心研究问题聚焦于：不同量化方法（如Q6_K、NVFP4）和推理引擎（llama.cpp、vLLM）对模型吞吐量与准确率的影响。该数据集通过规范化测试流程（包括MMLU、GSM8K等五个标准基准）提供了跨模型的对比基准，揭示了MoE架构相对于稠密模型在延迟与吞吐量上的优势，为社区选择消费级推理硬件与模型量化方案提供了重要参考依据。

当前挑战

数据集面临的核心领域挑战在于消费级硬件上大模型推理的精度与速度权衡。首先，量化方法在减少显存占用的同时引入精度损失，如NVFP4相比Q6_K平均导致约1个百分点的质量下降，而更大规模模型（如gpt-oss-120B）必须采用MoE CPU卸载才能适配32GB显存。其次，推理模式差异导致评测困难，思考型（Thinking ON）与非思考型模型的性能不可直接比较，且同一模型在不同模式下的MMLU分数可相差近10个百分点。在构建过程中，研究团队发现HumanEval基准存在因停止序列设置导致的代码截断Bug，需重新设计推理感知的评测流程；此外，MoE模型在长上下文场景下吞吐量降解约17%，揭示了注意力计算与显存带宽的瓶颈。这些挑战凸显了消费级LLM基准测试中评测方法标准化与硬件限制之间持续存在的张力。

常用场景

经典使用场景

在消费级GPU推理效率日益受到关注的背景下，RTX 5090 Benchmarks数据集为量化大语言模型（LLM）在NVIDIA RTX 5090 32GB显卡上的速度与质量评估提供了标准化基准。该数据集收录了涵盖稠密与混合专家（MoE）架构的多种模型，在llama.cpp和vLLM推理引擎下的运行表现，包括不同量化精度（如Q6_K、NVFP4）和上下文长度（128至16384 token）的吞吐量数据。其经典使用场景是作为研究人员与工程师评估和对比LLM在单卡消费级硬件上部署可行性的权威参考，尤其适用于分析模型规模、量化方法与推理速度之间的权衡关系。

实际应用

在实际部署场景中，该数据集为AI应用开发者提供了直接可操作的决策依据。例如，在构建本地代码助手、智能客服或内容生成工具时，开发者可依据数据集中的速度与质量评测结果，选择最适合特定显存预算和延迟要求的模型。数据集揭示的MoE模型在低显存占用下仍能保持高吞吐的特性，直接推动了边缘计算与个人工作站上实时LLM应用的落地。此外，其详尽的量化评测报告帮助企业在不牺牲过多准确率的前提下，通过模型压缩将服务部署成本降至可接受范围，从而加速了生成式AI技术在敏感数据需本地处理的行业（如医疗、金融）中的实际应用。

衍生相关工作

围绕该数据集衍生了一系列开创性工作，涵盖了从微观机制分析到宏观系统优化的广泛议题。包括对特定模型（如Qwopus3.6-27B-Coder）的编码能力与现实基准（SWE-bench Verified）之间差异的深度剖析，揭示了合成蒸馏与真实代理性能之间的‘幻象’；还包括对新兴推理技术（如MTP、EAGLE-3、DFlash）在消费级硬件上实际加速效果的对比实验。更值得注意的是，该数据集催生了诸如‘Agentic Score Leaderboard’等衍生基准，将评估从单纯的模型质量拓展至代理工具调用等复杂任务，并推动了如GRPO在单卡上进行强化学习训练等方法的验证。这些工作共同构建了一个以消费级硬件为核心的研究生态，持续反哺着模型压缩与高效推理领域的发展。