speculative-decoding-bench-rtx4090

该数据集名为“投机解码基准测试（RTX 4090）”，包含在单个消费级RTX 4090（24GB）显卡上，使用llama.cpp和LM Studio两个推理引擎，针对Qwen3（8B/14B）和Llama-3.1-8B目标模型，进行投机解码（speculative decoding）性能评估的4,576次基准测试运行记录。数据集旨在测量不同任务场景下的投机解码加速比、接受率、VRAM增量以及温度参数为0时的一致性（需注意其特定定义）。核心数据文件为`data/all_runs.parquet`，它整合并规范化了所有运行数据，包含46个扁平字段，涵盖了实验标识、配置参数（如引擎、模型、投机类型、采样参数）、性能结果（如延迟、吞吐量、接受率）以及环境信息（如VRAM使用情况）。原始请求记录保存在`raw/`目录下的7个JSONL分片中，对应不同的实验层级（如核心矩阵、草案长度扫描、量化对照等）。此外，数据集还提供了聚合统计结果（`aggregated/*.csv`）、分析图表（`figures/*.png`）以及详细的方法论和评估报告文档（`docs/`）。实验覆盖了四种任务类型：代码补全、英译繁中、繁中创意写作和JSON结构化抽取。数据集特别附带了详细的勘误和数据说明，强调了聚合方法不一致、重复次数有限、输出逐比特不可重现等重要注意事项，并声明了硬件和软件版本的具体配置。数据集整体采用CC-BY-4.0许可，其中模型生成文本的许可遵循各自源模型（Qwen系列为Apache 2.0，Llama系列为Llama Community License）。

搜集汇总

数据集介绍

构建方式

本数据集系在单一消费级RTX 4090（24GB）硬件平台上，针对投机解码（speculative decoding）技术展开的系统性基准测试成果。研究采用llama.cpp与LM Studio两大推理引擎，以Qwen3-8B/14B及Llama-3.1-8B作为目标模型，覆盖代码补全、英译繁中、繁中创意写作与JSON结构化抽取四种典型任务。实验设计包含无草案模型的ngram-mod自投机模式、传统草案模型对照、目标模型量化对比及大模型对照等分层方案。共计生成4,576条运行记录，每项配置执行3至5次重复测量，所有原始请求细节与聚合统计数据均以parquet、JSONL及CSV格式完整保存。

使用方法

用户可直接从HuggingFace数据集页面加载标准化后的parquet文件（含有46个扁平化字段），或访问原始JSONL文件获取未经处理的请求记录。推荐使用Pandas或DuckDB进行数据分析，聚合统计结果则存储于CSV文件中便于快速查阅。所有实验结果均配有详细的实验设计文档（PLAN.md）与评估报告（EVAL_REPORT.md），内含方法论限制说明及图表。引用时需一并注明勘误内容与硬件版本声明，特别注意不同聚合方式（全局中位数比率 vs. 逐提示成对比率）得出的加速倍数不可直接比较。数据以CC-BY-4.0协议开放，生成文本的模型权重遵循各自原始许可。

背景与挑战

背景概述

在大型语言模型（LLM）推理加速领域，投机解码（Speculative Decoding）作为一种无需修改模型架构即可提升生成效率的范式，近年来受到广泛关注。由Leviathan等人与Chen等人提出的该方法，理论上在不改变输出分布的前提下，通过小型草稿模型并行预测多个令牌，再由目标模型验证，从而有效降低解码延迟。然而，现有评估多集中于云级GPU集群或专用硬件，消费级显卡环境下的实际表现仍缺乏系统性量化分析。该数据集由研究者于2026年7月创建，基于RTX 4090这一典型消费级GPU，联合llama.cpp与LM Studio两个推理引擎，全面测算了Qwen3-8B/14B与Llama-3.1-8B等目标模型在四项结构化与非结构化任务上的加速比与接受率。数据集的发布填补了消费级硬件环境与工业级推理框架交叉领域的空白，对于指导开发者在不依赖昂贵服务器的情况下优化本地推理效率具有重要参考价值。

当前挑战

该数据集所解决的领域问题主要围绕投机解码在实际部署中的核心挑战：其一，消费级显卡算力有限，草稿模型易成为瓶颈，导致开放式任务（如创意写作、翻译）甚至出现负加速（净减速），而结构化任务（如JSON提取、代码补全）虽可获益，但最优配置高度依赖任务类型；其二，不同推理引擎（llama.cpp与LM Studio）及量化方案（Q4_K_M vs Q8_0）对加速效果影响显著，且存在引擎间计时语义不一致（如客户端TTFT与服务端TTFT不可比），使跨环境对比更为复杂。构建过程中亦面临多重挑战：原始JSONL文件因嵌套结构不一致（如sampling字段有1键与4键变体）导致schema推断失败和Dataset Viewer损坏；实验设计上，重复次数有限（每格3–5次）、缺乏置信区间，且base与draft配置非成对运行（非同seed、非交错执行），限制了统计稳固性；此外，无模型内嵌的ngram-mod模式虽在结构化任务中表现突出，但其输出逐位可重现性仅约48.4%，与朴素实现的不变性假设存在偏差。

常用场景

经典使用场景

作为首个系统性地在消费级GPU（RTX 4090）上评测投机解码性能的公开基准，该数据集为研究人员提供了涵盖llama.cpp和LM Studio两大推理引擎的4,576次运行记录。其经典用法聚焦于对比投机解码在不同任务（代码补全、翻译、创意写作、JSON结构化抽取）下的加速比与接受率，尤其是无草稿模型的ngram-mod自投机模式在结构化任务中展现出2.8倍的加速潜力。数据集统一了异构引擎的日志格式并修正了嵌套模式不一致问题，为后续同类评测提供了可复现的标准化框架。

解决学术问题

它直面投机解码领域两个悬而未决的学术争议：其一，在仅有8B快速目标模型的场景下，传统草稿模型是否会造成净减速——实验证实开放式创意任务中确实如此；其二，输出无损（lossless）的实际边界——数据清晰展示了llama.cpp内种子一致性达100%而跨配置精确匹配仅53-55%的微妙现象，揭示了GPU批处理非确定性对可重现性的根本影响。数据集还通过勘误警示了聚合方法（全局中位数vs逐对比率）带来的数字不可比性，推动了评测方法论的严谨化。

实际应用

在工程应用层面，本数据集直接服务于部署决策：它量化了投机解码在RTX 4090上为JSON抽取与代码补全带来的实际加速收益，同时指出创意写作场景下应禁用种子猜测。LM Studio与llama.cpp的TTFT语义差异（客户端vs服务端）揭示了不同部署形态的度量盲区。数据中3-5次重复的变异性（约10-15%）为生产环境中的置信区间设定提供了依据，而VRAM增量（加载前后显存记录）可用于评估投机解码对同显卡并发任务数的实际折损。

数据集最近研究

最新研究方向

面向消费级GPU的投机解码基准测试揭示了自投机模式在结构化任务中的显著加速潜力，同时暴露了传统草稿模型在开放生成任务中的性能瓶颈，为边缘推理的工程优化与模型部署策略提供了量化参考。