Awesome-LLM-Eval

Awesome-LLM-Eval是一个精选的资源列表，主要收录和整理用于大型语言模型评估的数据集和基准，涵盖通用领域、特定领域、RAG评估、代理能力、编码能力、多模态/跨模态、长上下文、推理速度、量化和压缩等多个主题。该合集旨在为生成式AI的评估提供全面的数据集索引和推荐。

Awesome-LLM-Eval is a curated collection of resources dedicated to collecting and organizing datasets and benchmarks for large language model (LLM) evaluation, spanning a diverse range of topics including general domain, specialized domain, RAG evaluation, agent capabilities, coding capabilities, multimodal/cross-modal tasks, long-context scenarios, inference speed, quantization and compression. This collection aims to provide comprehensive dataset indexing and recommendations for the evaluation of generative AI.

原始信息汇总

数据集详情总结：Awesome-LLM-Eval

该项目是一个精选的资源列表，专注于大语言模型（LLM）的评估，旨在探索生成式AI的边界与限制。它同时是论文 Beyond Benchmark: LLMs Evaluation with an Anthropomorphic and Value-oriented Roadmap 的官方项目。

核心内容概览

• 资源类型：工具、数据集/基准测试、演示、排行榜、论文、文档与模型。
• 主要分类：
  • 工具 (Tools)：如 lighteval。
  • 数据集/基准测试 (Datasets / Benchmark)：按领域和功能细分。
    • 通用 (General)：MMLU-Pro、AlpacaEval、AGIEval、BigBench、HellaSwag、SuperGLUE 等。
    • 领域 (Domain)：医疗 (Medbench, PsyEval)、金融 (FinEval)、代码 (CRUXEval, DebugBench) 等。
    • RAG 评估 (RAG-Evaluation)：包含相关基准。
    • 智能体能力 (Agent-Capabilities)：包含 SuperCLUE-Agent。
    • 编码能力 (Coding-Capabilities)：包含 CRUXEval、DebugBench。
    • 多模态/跨模态 (Multimodal/Cross-modal)：包含相关基准。
    • 长上下文 (Long-Context)：LV-Eval、BAMBOO。
    • 推理速度 (Inference-Speed)：包含相关基准。
    • 量化与压缩 (Quantization-and-Compression)：包含相关基准。
• 拟人化分类 (Anthropomorphic-Taxonomy)：采用IQ和PQ框架对评估基准进行分类。
  • 典型 IQ (通用智能) 基准：
    • 知识：MMLU-Pro、FreshQA、Natural Questions。
    • 推理：BigBench Hard、MuSR、PlanBench、PIQA、ARC。
    • 数学：MATH、GSM8K、MathBench、AIME、FrontierMath。
    • 语言：GLUE、SuperGLUE、BoolQ、DROP、Winogrande。
    • 事实性与不确定性：FELM、LLM-Uncertainty-Bench。
    • 动态与透明度：DyVal、PertEval、FMTI。
  • 典型 PQ (专业能力) 基准：
    • 医疗：Medbench、GenMedicalEval、PsyEval、Seismometer。
    • 金融：FinEval、Fin-Eva、BLURB。
• 排行榜 (Leaderboards)：包含相关链接。
• 模型列表 (LLM-List)：按预训练、指令微调、对齐、开放和流行分类。
• 其他资源：LLMOps、训练框架、课程等。

关键技术特性

• 即时更新：由于 arXiv 论文无法实时更新，本仓库作为最新的更新来源。
• 社区贡献：欢迎提交 Pull Request 或 Issues，贡献者将被致谢。
• 关联论文：Beyond Benchmark: LLMs Evaluation with an Anthropomorphic and Value-oriented Roadmap (arXiv:2508.18646)。

数据来源与使用

• 许可：遵循 Awesome 相关许可。
• 引用：如需引用，请使用提供的 BibTeX 格式。

搜集汇总

数据集介绍

构建方式

该数据集以系统性的文献调研为基础，结合了拟人化与价值导向的评估路线图，通过广泛收集与梳理当前大语言模型评估领域中的工具、数据集、基准测试、演示平台、排行榜及学术论文等资源，构建了一个结构化、多层次的分类体系。构建过程中，团队依据评估对象的智能维度（如通用智力、专业能力）与价值维度（如安全性、对齐性）进行划分，并特别设立了拟人化分类法（Anthropomorphic Taxonomy），将评估基准细化为典型智商（IQ）与专业商数（PQ）两大范畴，从而实现了对评估资源的全面覆盖与精准归类。

特点

该数据集最显著的特点在于其全面性与系统性，不仅囊括了从通用推理（如MMLU-Pro、BigBench）到专业领域（如医疗、金融）的各类评估基准，还覆盖了检索增强生成（RAG）、智能体能力、代码能力、多模态理解、长上下文处理等前沿方向。此外，数据集引入了拟人化与价值导向的评估视角，超越了传统基准测试的局限，强调对模型透明度、事实性、不确定性量化等深层属性的考察。其动态更新机制与社区贡献渠道确保了资源的时效性与持续扩展性。

使用方法

用户可通过GitHub仓库的目录结构快速定位所需资源，例如针对通用评估可查阅“General”子章节，针对特定领域则浏览“Domain”分类。每个评估基准均提供了名称、年份、任务类型、机构来源及官方链接，便于直接访问与复现。对于希望进行综合评估的研究者，数据集推荐了如OpenCompass、UltraEval等统一评估框架，并附带了相关论文与教程链接。用户亦可利用“Leaderboards”章节追踪模型表现排名，或通过“Papers”章节深入理解评估方法论，从而高效开展定制化的模型评测工作。

背景与挑战

背景概述

随着大型语言模型（LLMs）在自然语言处理领域的广泛应用，如何全面、客观地评估其能力边界与潜在风险成为研究焦点。由上海交通大学等机构的研究团队于2025年创建的Awesome-LLM-Eval项目，系统性地整合了评估工具、基准数据集、排行榜与前沿论文，旨在构建一个拟人化且价值导向的评估路线图。该数据集基于对超过百项基准的深入分析，覆盖通用智能、专业能力、多模态、长文本及推理速度等维度，为探究生成式人工智能的极限提供了结构化框架。其影响力体现在推动了评估标准从单一任务性能向多维能力与人类价值观对齐的转变，成为该领域的重要参考资源。

当前挑战

当前LLM评估面临的核心挑战包括：1）领域问题层面，现有基准难以覆盖动态演化的真实应用场景，且易受数据污染影响，导致模型在标准化测试中的表现无法准确反映实际部署能力；2）构建过程中，如何设计兼顾广度与深度的评估维度——从常识推理到专业医学、金融知识，从指令遵循到长文本理解——需要平衡任务复杂度与可复现性；同时，构建者需应对多模态交互、智能体行为等新兴能力的评测缺失，以及不同评估工具间的兼容性与标准化难题，这些均对构建一个稳健、持续更新的评估生态构成显著障碍。

常用场景

经典使用场景

在大型语言模型（LLM）迅猛发展的背景下，如何系统、全面且公平地评估模型能力成为学术界与工业界的核心挑战。Awesome-LLM-Eval 数据集集合了涵盖通用智能、专业能力、多模态理解、长文本处理、代码生成及推理速度等维度的丰富评测基准，为研究者提供了一站式的评估工具与资源。其最经典的使用场景是作为 LLM 综合能力评估的标准化平台，研究人员可借助其中收录的 MMLU-Pro、GSM8K、HellaSwag 等经典基准，从知识掌握、逻辑推理、数学求解到常识判断等角度对模型进行多维度横向对比，从而揭示不同模型在复杂认知任务上的优势与局限。

衍生相关工作

基于 Awesome-LLM-Eval 的评测体系，衍生出一系列具有深远影响的经典工作。其中，OpenCompass 作为由其催生的开源评估框架，实现了对数十个主流基准的自动化测试，极大提升了评测效率与公平性。AlpacaEval 则借鉴其拟人化评估思路，提出了基于 GPT-4 的自动裁判机制，成为指令微调模型评估的事实标准。此外，针对长文本理解的 LV-Eval 与数学推理的 MathBench 等专项基准，均是在该数据集的分类框架下进一步深化的成果，共同推动了 LLM 评测从粗粒度打分向细粒度能力剖析的演进，为构建更强大、更可靠的语言模型奠定了坚实的评估基础。

数据集最近研究

最新研究方向

当前，大语言模型评估领域正经历从传统静态基准向拟人化、价值导向的范式转型。Awesome-LLM-Eval 项目通过构建涵盖智商与职业商两大维度的拟人化分类体系，系统性地整合了包括 MMLU-Pro、MathBench、FrontierMath 等前沿推理评估基准，以及 Medbench、FinEval 等垂直领域专业能力测试集，全面映射了模型在复杂推理、长文本处理、代码生成、多模态理解及量化压缩等关键能力上的边界探索。该项目特别关注了检索增强生成（RAG）评估、智能体能力评测等新兴方向，并与 Huggingface 的 lighteval 等轻量级工具形成生态联动，为学术界和工业界提供了动态化、多维度的评估框架。其发布的《Beyond Benchmark》调研论文进一步推动了评估方法论从单一分数排名向模拟人类认知与价值对齐的深层演进，对保障生成式 AI 的安全可靠与伦理合规具有里程碑意义。