llm-benchmark-usage
收藏资源简介：
LLM Benchmark Usage (2023–2026) 是一个结构化数据集，用于追踪和分析2023年7月至2026年7月期间39个AI实验室评估其大型语言模型（LLM）时使用的基准测试。该数据集通过手工整理62篇论文、技术报告、系统卡片、模型卡片和博客文章构建而成，覆盖128个模型。数据集包含两个核心表：models表（128行）记录每个模型的基本信息，包括模型ID、发布实验室、发布日期、来源ID以及参与的Hugging Face排行榜列表；sources表（62行）记录每个来源文档的详细信息，包括文档类型、标题、URL、arXiv ID、关联的模型ID列表、注释以及评估套件详情。数据集对基准测试名称进行了规范化处理，统一了约250种原始名称变体，同时保留了真正不同的基准测试变体。数据集存在一些已知局限性：样本并非随机或完整，而是通过滚雪球方式构建，偏向2026年上半年数据；部分数据来源于截图或次级聚合器；实验室归属基于Hugging Face命名空间。该数据集适用于分析模型评估趋势、基准测试采用情况、实验室间评估实践比较以及作为模型评估研究的元数据来源。
LLM Benchmark Usage (2023–2026) is a structured dataset for tracking and analyzing benchmark tests used by 39 AI laboratories when evaluating their large language models (LLMs) between July 2023 and July 2026. This dataset is built through manual curation of 62 papers, technical reports, system cards, model cards and blog posts, covering 128 models. It includes two core tables: 1. The `models` table (128 rows) records basic information of each model, including model ID, releasing laboratory, release date, source ID and the list of Hugging Face Leaderboard participations; 2. The `sources` table (62 rows) documents detailed information of each source document, including document type, title, URL, arXiv ID, associated model ID list, annotations and evaluation suite details. The dataset standardizes benchmark test names, unifying approximately 250 original name variants while retaining truly distinct benchmark variations. There are several known limitations: the sample is not random or comprehensive, but constructed via snowball sampling, with a bias towards data from the first half of 2026; some data is sourced from screenshots or secondary aggregators; laboratory attribution is based on the Hugging Face namespace. This dataset is suitable for analyzing model evaluation trends, benchmark adoption status, cross-laboratory comparison of evaluation practices, and serving as a metadata source for model evaluation research.
数据集概述：LLM Benchmark Usage (2023–2026)
该数据集手工整理自62篇论文、技术报告、系统卡、模型卡和博客文章，涵盖了2023年7月至2026年7月期间39个AI实验室发布的128个模型所使用的评估基准。旨在展示各实验室如何评估其模型以及评估基准随时间的变化。
数据集构成
数据集包含两个子集，可通过 datasets 库按名称加载：
-
models: 每个模型一行，共128行。model_id(string): 开放权重模型的Hugging Face仓库ID（如Qwen/Qwen3.5-397B-A17B）或闭源API模型的简单标识（如claude-opus-4-8）。lab(string): 发布该模型的机构/实验室。release_date(timestamp): 发布日期。对于开放权重模型，使用HF仓库创建日期（近似值）；对于闭源模型，使用手动研究的公告/系统卡日期。source_id(string): 外键，关联sources表，指向描述该模型评估的论文/报告/卡片。leaderboards(list[string]): 该模型出现的HF Hub排行榜列表（如["hle", "SWE-bench_Pro"]），闭源API模型此项为空。
-
sources: 每个论文/报告/卡片/博客一行，共62行。多个模型可能共享同一个来源。id(string): 主键，与models.source_id匹配。type(string): 来源类型，包括paper、report、model_card、blog。title(string): 论文/报告/卡片/文章的标题。url(string, 可空): 来源链接。arxiv_id(string, 可空): arXiv论文的ID。models(list[string]): 该来源的基准列表默认适用的所有model_id。notes(string, 可空): 注意事项，如数据质量标记、基准是模型专属还是共享、可信度等。benchmarks(list[struct]): 评估套件。每个元素包含：name(string): 基准名称，已规范化（如统一为GPQA-Diamond）。category(string): 来源中标注的自由文本类别（如knowledge,agentic_coding,preparedness_bio_chem）。models(list[string], 可空): 当为null时，表示该基准适用于来源中models列表的所有模型；当有值时，表示该基准仅适用于所列出的模型。
基准名称规范化
数据集将约250个原始名称变体（因大小写、连字符、跨实验室转写差异导致）进行去重并统一为规范名称。对于真正不同的基准变体（如 GPQA vs GPQA-Diamond vs GPQA Hard, 或 HumanEval vs HumanEval+）则保持区分。
已知限制
- 并非所有已发布模型的随机或完整样本，是通过从2026年的四个HF排行榜（GPQA, HLE, SWE-bench Pro, Terminal-Bench 2.0）、一组手工挑选的闭源模型以及约18个额外实验室中筛选出的旗舰模型构建的，总体偏向2026年上半年。
- Grok系列（xAI）的部分数据来源于公告页面的截图（阻止自动抓取）以及二级聚合器，每个Grok来源的
notes字段详细说明了哪些基准为已验证、哪些为二手来源。 lab归属基于HF命名空间；其他实验室对另一个实验室检查点的社区量化版本（如exolabs/RedHat AI对NVIDIA模型的重新打包）归因于原始实验室，因为重新量化不构成独立的基准选择。
