zeitgeist-ai/mixeval

MixEval是一个动态基准测试工具，用于评估大型语言模型（LLMs），使用真实世界的用户查询和基准测试。其模型排名与Chatbot Arena的相关性达到0.96，并且使用GPT-3.5作为评判者的运行成本约为0.6美元。该数据集的主要功能包括：在训练期间或训练后评估本地模型、与Hugging Face Datasets集成以避免本地文件的需求、使用Hugging Face TGI或vLLM加速评估、改进的Markdown输出和训练时间、以及远程或CI集成的pip安装修复。

MixEval is a dynamic benchmark evaluating LLMs using real-world user queries and benchmarks, achieving a 0.96 model ranking correlation with Chatbot Arena and costs around $0.6 to run using GPT-3.5 as a Judge. The dataset features include: evaluation of local models during or post training, Hugging Face Datasets integration to avoid the need of local files, use of Hugging Face TGI or vLLM to accelerate evaluation, improved markdown outputs and timing for the training, and fixed pip install for remote or CI integration.

原始信息汇总

MixEval 数据集

概述

• 名称: MixEval
• 用途: 用于评估大型语言模型（LLMs）的动态基准测试。
• 特点:
  • 使用真实世界用户查询和基准进行评估。
  • 模型排名相关性达到0.96，与Chatbot Arena相当。
  • 使用GPT-3.5作为评判模型，运行成本约为$0.6。

数据集集成

• Hugging Face Datasets: 支持直接集成，无需本地文件。
• Hugging Face TGI 或 vLLM: 用于加速评估并使其更易于管理。

评估方法

• 本地模型评估: 支持在训练期间或训练后使用transformers库进行本地模型评估。
• 远程模型评估: 支持使用Hugging Face模型库中的模型进行评估。
• vLLM/TGI 集成: 支持使用vLLM或TGI进行本地或远程API评估。

示例命令

• 远程Hugging Face模型评估: bash MODEL_PARSER_API=$(echo $OPENAI_API_KEY) python -m mix_eval.evaluate --data_path hf://zeitgeist-ai/mixeval --model_name zephyr_7b_beta --benchmark mixeval_hard --version 2024-06-01 --batch_size 20 --output_dir results --api_parallel_num 20

• 使用vLLM/TGI进行评估: bash MODEL_PARSER_API=$(echo $OPENAI_API_KEY) API_URL=http://localhost:8000/v1 python -m mix_eval.evaluate --data_path hf://zeitgeist-ai/mixeval --model_name local_api --model_path alignment-handbook/zephyr-7b-dpo-full --benchmark mixeval_hard --version 2024-06-01 --batch_size 20 --output_dir results --api_parallel_num 20

• 本地Hugging Face模型评估: bash MODEL_PARSER_API=$(echo $OPENAI_API_KEY) python -m mix_eval.evaluate --data_path hf://zeitgeist-ai/mixeval --model_path my/local/path --output_dir results/agi-5 --model_name local_chat --benchmark mixeval_hard --version 2024-06-01 --batch_size 20 --api_parallel_num 20

评估结果示例

Metric	Score
MBPP	100.00%
OpenBookQA	62.50%
DROP	47.60%
BBH	43.10%
MATH	38.10%
PIQA	37.50%
TriviaQA	37.30%
BoolQ	35.10%
CommonsenseQA	34.00%
GSM8k	33.60%
MMLU	29.00%
HellaSwag	27.90%
AGIEval	26.80%
GPQA	0.00%
ARC	0.00%
SIQA	0.00%
overall score (final score)	34.85%

• 评估时间: 约5分钟。

搜集汇总

数据集介绍

构建方式

MixEval数据集由真实用户查询与现有基准测试融合而成，旨在动态评估大语言模型。其构建方式参考了Chatbot Arena的排名逻辑，通过精心设计的混合策略，将用户驱动的自然语言查询与标准化测试任务相结合，最终形成一套兼具生态效度与可复现性的评估体系。该数据集采用Apache-2.0许可协议，并依托Hugging Face平台进行分发，用户可通过`zeitgeist-ai/mixeval`标识符直接加载，无需维护本地文件。

特点

该数据集的核心特色在于其动态性与经济性：模型排名与Chatbot Arena的相关性高达0.96，而单次评估成本仅约0.6美元（基于GPT-3.5作为裁判）。此外，MixEval提供了`mixeval_hard`等细分基准版本，覆盖从数学推理（MATH）到常识问答（CommonsenseQA）等多元任务维度。其设计兼容本地模型与远程API调用，支持通过vLLM或TGI加速推理，并集成了Hugging Face Datasets以简化数据加载流程。

使用方法

使用MixEval时，用户可通过pip安装专用工具包，并利用环境变量配置OpenAI API密钥作为模型评判器。评估命令支持多种模式：通过`--data_path hf://zeitgeist-ai/mixeval`指定数据源，选择`--model_name`或`--model_path`加载预设或自定义模型，并设定`--benchmark`与`--version`控制测试范围。对于本地模型，可结合vLLM部署API服务后运行；远程模型则直接指定Hugging Face路径。评估结果以表格形式输出各子任务得分及总体排名，耗时约5分钟。

背景与挑战

背景概述

MixEval是一个由研究团队于2024年开发的动态基准测试数据集，旨在通过真实用户查询和现有基准测试来评估大型语言模型（LLMs）的性能。该数据集由zeitgeist-ai机构维护，其核心研究问题在于构建一个与Chatbot Arena模型排名相关性高达0.96的高效评估框架，同时将运行成本控制在每次约0.6美元（使用GPT-3.5作为评判模型）。MixEval的出现填补了现有静态基准测试难以反映模型在真实场景中表现的空白，通过动态更新的方式提升了评估的时效性和实用性，对LLM领域的模型比较和优化具有重要影响力。

当前挑战

当前MixEval面临的主要挑战包括：1) 领域问题层面，如何确保动态基准测试能够持续覆盖多样化的真实用户查询场景，避免因数据分布偏差导致评估结果失真，同时保持与Chatbot Arena等主观评测的高度一致性；2) 构建过程中，模型评估需要依赖外部API（如OpenAI）作为评判标准，这引入了成本和延迟问题，且对本地模型的兼容性仍需优化，例如通过vLLM或TGI集成时可能遇到配置复杂度和性能瓶颈，此外，不同模型在特定子任务（如GPQA、ARC）上的零分表现揭示了数据集的难度分布不均，可能影响整体评估的区分度。

常用场景

经典使用场景

在大型语言模型（LLM）的评估与比较研究中，MixEval数据集被广泛用于构建动态基准测试。该数据集巧妙融合了真实用户查询与标准化基准测试，能够以极低的成本（约0.6美元）实现对模型性能的高效评估。其核心价值在于，通过一个精心设计的评价体系，能够以高达0.96的排序相关系数复现Chatbot Arena的模型排名，从而为研究者提供了一种既经济又可靠的模型能力度量手段。这一特性使得MixEval成为评估各类开源与闭源LLM在多样化任务上表现的理想选择。

实际应用

在实际应用中，MixEval数据集已成为模型开发全周期中的关键工具。在模型训练阶段，研究者可利用其高效性对模型检查点进行快速迭代评估，实时监控训练效果并指导超参数调优。在模型发布前，开发者可借助其与Chatbot Arena高度一致的排名，对模型进行最终的质量验证与竞争性分析。此外，该数据集还支持对本地模型、通过vLLM或TGI部署的模型以及远程API模型的统一评估，这种灵活性使其能够无缝集成到企业的模型选型、部署和持续监控流程中，为从学术研究到工业落地的全链路提供了一致且可靠的评估标准。

衍生相关工作

MixEval数据集的提出催生了一系列重要的衍生工作。其核心思想——即融合真实用户动态查询与标准化基准——直接启发了后续的在线评估框架设计，推动了更贴近实际应用场景的LLM评测方法论的发展。围绕其高效评估特性，研究者开发了多种模型优化策略，例如基于MixEval反馈的强化学习微调方法，旨在直接提升模型在混合评估指标上的表现。同时，该数据集也成为了对比研究的重要基线，许多新提出的评估指标或模型架构都会首先在MixEval上进行验证，以证明其相对于现有方法的优势，从而在LLM生态系统中形成了一个以MixEval为核心的评估与迭代闭环。