runthismodel-gpu-compatibility

RunThisModel GPU 兼容性数据库是一个精选的、机器可读的数据集，专注于开源人工智能模型的硬件兼容性与性能基准。该数据集的核心目的是提供精确的 GPU 显存（VRAM）需求信息和跨多种硬件的实际推理性能数据，以帮助用户根据自身硬件条件选择并高效运行 AI 模型。数据内容主要包含两个部分：1. **精选模型列表** (`curated-models.json`): 收录了超过 145 个开源 AI 模型。每个模型条目包含模型 ID、名称、作者、参数量、类别、许可证以及详细的量化信息。量化信息表 (`quantizations[]`) 是关键，它列出了每种量化类型（如 FP16, INT4 等）对应的模型文件大小、运行所需的 GPU 显存量、系统内存需求量、质量评分以及权重比特数。2. **社区基准测试数据** (`community-benchmarks.json`): 包含由社区用户提交的实际硬件推理性能基准。每条记录关联特定的模型和量化类型，在指定的 GPU 型号和上下文长度下，测量其推理速度（每秒处理的 Token 数）。该部分覆盖了超过 100 款消费级和数据中心 GPU。数据集规模为小于 1K 条目级别，数据以 JSON 格式提供，每日更新。其适用任务和应用场景包括：训练基于用户硬件推荐合适模型的分类器；评估新量化技术在真实硬件上的性能；为本地大语言模型工具（如 LM Studio 插件、Ollama 配置）提供数据支持；以及为模型推荐系统提供排名依据。数据集遵循 CC-BY-4.0 许可协议。

原始信息汇总

数据集概述

数据集名称: RunThisModel: GPU Compatibility Database
许可证: CC-BY-4.0
语言: 英语
数据集大小: n<1K（少于1000条）
数据集标签: gpu, llm, inference, hardware, benchmarks, vram

该数据集由 RunThisModel.com 维护，每日更新，包含 145+ 个开源AI模型的精确VRAM需求（按量化方式划分），以及 100+ 种消费级和数据中心GPU 的众包推理基准测试数据。

---

文件结构

文件	说明
curated-models.json	包含145+个模型的完整量化表、许可证、Hugging Face下载次数、文件大小等信息
community-benchmarks.json	用户提交的跨真实GPU的每秒token数（tok/sec）测量数据

---

数据模式

curated-models.json

每条记录包含：{ id, name, author, parameterCount, category, license, quantizations[] }
其中，quantizations[] 是一个数组，每个元素包含：{ quantType, fileSizeGb, vramRequiredGb, ramRequiredGb, qualityScore, bitsPerWeight }

community-benchmarks.json

每条记录包含：{ modelId, gpu, quantType, tokensPerSec, contextLength, submittedAt }

---

使用场景

• 训练一个“我该在我的GPU上运行什么模型？”的分类器
• 针对真实硬件对比新的量化技术
• 为本地LLM工具（如LM Studio插件、Ollama配置）提供支持
• 为模型推荐的排序系统提供数据源

---

相关链接

• 数据集托管地址：https://huggingface.co/datasets/williamjiamin/runthismodel-gpu-compatibility
• 具有UI界面的兼容性评分工具（可自动检测GPU并为145+个模型评分S至F级）：https://runthismodel.com

---

引用格式

bibtex @misc{runthismodel2026, title={RunThisModel: GPU Compatibility Database}, author={RunThisModel.com}, year={2026}, url={https://huggingface.co/datasets/williamjiamin/runthismodel-gpu-compatibility} }

搜集汇总

数据集介绍

构建方式

该数据集由RunThisModel.com平台精心构建，每日更新，收录了超过145个开源AI模型的详尽信息。构建过程中，数据集为每个模型提供了完整的量化表，包括不同量化类型下的文件大小、所需显存与内存容量、质量评分及每权重比特数。此外，通过社区贡献机制，收集了来自100多种消费级与数据中心级GPU的真实推理基准数据，涵盖令牌吞吐量与上下文长度等关键指标。所有数据整理为结构化的JSON文件，便于机器读取与自动化处理。

特点

本数据集的核心特色在于其双重结构：一是经过人工审核的模型库，包含了参数数量、许可证、下载量等元数据，二是源自用户提交的实测性能基准。这种设计使得数据集不仅覆盖了从轻量级到大型模型的多维度信息，还提供了实际硬件环境下的真实性能表现。显存需求的精确标注与每模型的质量评分，使数据集成为评估模型在特定GPU上运行时兼容性与效率的权威参考，尤其适用于本地大语言模型推理场景。

使用方法

数据集适用于多种技术应用场景。开发者可基于其训练用于推荐“应运行于何种GPU”的分类器，或利用真实硬件基准测试新型量化技术的效果。数据还可集成于本地LLM工具链，如LM Studio插件或Ollama配置，辅助自动生成运行策略。对于需要直观界面的用户，可访问配套网站RunThisModel.com，该工具能自动检测GPU并给出从S到F的兼容性评分。研究者在论文中引用时需按照提供的BibTeX格式标注数据源。

背景与挑战

背景概述

随着大规模语言模型（LLM）在自然语言处理领域的迅猛发展，其在实际部署中面临的硬件兼容性问题日益凸显。针对这一痛点，RunThisModel.com 团队于2026年构建了“RunThisModel: GPU Compatibility Database”，一个涵盖145余种开源AI模型与100余款消费级及数据中心GPU的标准化数据库。该数据集不仅提供了每种模型在不同量化精度下的精确VRAM需求，还整合了众包推理基准（即token/s），旨在回答“我的GPU能否运行该模型”这一核心研究问题。作为领域内首个系统化、机器可读的GPU兼容性数据集，它为模型推荐系统、量化技术评估及本地推理工具开发提供了关键基础资源，对推动LLM在边缘设备与异构硬件上的高效部署具有重要示范意义。

当前挑战

该数据集需解决的核心领域挑战在于，并非所有开源模型都能被主流GPU平台顺利运行——显存不足、计算能力不达标或缺乏对应量化版本等问题常导致推理失败。因此，数据集需要提供细粒度、跨模型的兼容性映射，以支撑“给定GPU，推荐可用模型”或“给定模型，预测所需GPU”的应用场景。在构建过程中，挑战主要源自数据获取与维护双重层面：一方面，高质量VRAM需求数据需从145种模型、数十种量化设置下逐一实测或聚合社区反馈，确保无幻觉或被高估参数；另一方面，众包基准数据受用户GPU配置、后台负载及测试方法差异影响，需严格清洗与归一化后方能反映真实性能。每日刷新机制进一步要求数据处理管线高度自动化且鲁棒。

常用场景

经典使用场景

在深度学习推理基础设施的设计与优化过程中，该数据集被广泛用于构建“当前GPU能运行哪些模型”的智能评估系统。通过整合145余个开源大语言模型在各量化精度下的显存需求，并关联上百款消费级与数据中心级GPU的用户实测吞吐数据，研究者得以精准预测特定硬件配置对模型的兼容性。这使得从模型选择到推理部署的决策链条更加数据驱动，显著降低了试错成本。

实际应用

在实际应用中，该数据集已嵌入本地化LLM工具链，如LM Studio的插件推荐系统与Ollama的配方自动匹配模块。开发者可基于数据集中的模型-量化-显存映射表，为其软件动态生成“该硬件可流畅运行哪些模型”的个性化清单。此外，模型托管平台亦借助该数据构建排名算法，让用户根据自己GPU型号快速筛选最适配的开源模型，大幅提升试玩与调优效率。

衍生相关工作

该数据集催生了多项衍生工作，包括基于显存向量与吞吐标签训练的GPU兼容性分类器，以及利用社区基准数据微调的新量化效果评估模型。一些研究团队进一步将其与LLM推理调度框架结合，构建出根据实时VRAM负载动态切换量化级别的自适应推理引擎。此外，还有工作以其为锚点，建立了模型文件大小、bits-per-weight与推理质量之间的量化关系图谱，为下一代硬件评测标准提供了参考基线。