lmarena-ai/arena-hard-auto

Arena-Hard数据集是一个包含预生成模型答案和判断的数据集，用于构建高质量基准，来源于Crowdsourced数据，通过Arena-Hard和 BenchBuilder Pipeline进行处理。该数据集有两个版本：Arena-Hard-v0.1和Arena-Hard-v2.0-Preview。

The Arena-Hard dataset is a collection of pre-generated model answers and judgments, designed for constructing high-quality benchmarks derived from Crowdsourced data, processed through the Arena-Hard and BenchBuilder Pipeline. There are two versions of this dataset: Arena-Hard-v0.1 and Arena-Hard-v2.0-Preview.

搜集汇总

数据集介绍

构建方式

在大型语言模型评估领域，Arena-Hard-Auto数据集的构建体现了从实时交互数据到标准化基准的转化智慧。该数据集依托LMSys Chatbot Arena平台，通过收集匿名用户与多种前沿模型的真实对话记录，构建了初始的候选问题池。随后，研究团队设计了一套严谨的筛选与清洗流程，利用自动化工具与人工审核相结合的方式，剔除低质量或重复内容，并确保问题的多样性与挑战性。最终，通过众包标注与模型辅助评判，生成了包含高质量问题、多模型回答及相应评判结果的基准数据，为模型能力评估提供了坚实的数据基础。

特点

该数据集的核心特征在于其源于真实用户交互的生态效度与经过严格质控的高质量标准。其问题集合覆盖了广泛的领域与任务类型，能够有效检验模型在复杂、开放场景下的综合能力。与静态构建的基准不同，Arena-Hard-Auto动态反映了用户的实际需求与模型交互中的难点。数据集不仅提供了多模型的生成答案，还包含了基于众包或先进评判模型（如LLM-as-a-Judge）得出的胜负评判或评分，为研究者提供了多维度的模型性能分析视角，尤其擅长揭示模型在细粒度能力上的差异。

使用方法

研究者可利用该数据集对大型语言模型进行系统性的基准测试与能力诊断。典型的使用方法包括加载预生成的问题、答案及评判数据，通过计算特定模型在数据集上的胜率、评分或进行成对比较，来量化评估其性能。该数据集支持与Arena-Hard-v0.1及v2.0-Preview等基准的对接，便于进行跨版本或跨模型的对比分析。此外，其结构化数据也为深入分析模型失败案例、特定能力短板提供了丰富素材，是驱动模型迭代与评估方法创新的重要资源。

背景与挑战

背景概述

在大型语言模型评估领域，传统静态基准常因模型过拟合而失效，难以反映真实场景下的模型能力。为此，研究团队于2024年提出了Arena-Hard数据集，由Tianle Li、Wei-Lin Chiang等学者联合开发，依托LMSYS等机构支持。该数据集核心在于通过众包平台收集真实用户与模型的交互数据，构建动态、高质量的评测基准，旨在更精准地评估模型在开放域对话中的综合性能，推动语言模型评估从静态测试向生态化、实时化方向发展。

当前挑战

Arena-Hard数据集致力于解决开放域对话评估中真实性不足与动态适应性弱的挑战，需在复杂多变的用户查询中准确衡量模型的实用性、安全性与创造性。构建过程中，挑战集中于众包数据的高效筛选与标准化，如何从海量交互中剔除噪声、保持问题多样性，并设计自动化流程确保评测的一致性与可扩展性，成为数据集质量保障的关键。

常用场景

经典使用场景

在大型语言模型评估领域，Arena-Hard-Auto数据集通过自动化流程，为模型性能的横向比较提供了标准化基准。其核心应用场景在于利用众包数据构建高质量测试集，支持研究者对多种语言模型在复杂推理、多轮对话及指令遵循等任务上进行系统化评估。该数据集通过预生成的模型回答与自动判断，确保了评估过程的客观性与可重复性，成为推动模型迭代优化的重要工具。

实际应用

在实际应用中，Arena-Hard-Auto数据集被广泛集成于模型开发与部署流程中。企业与研究机构可借助其自动化评估框架，快速验证新模型在真实用户查询下的表现，辅助模型选型与性能调优。该数据集支撑了在线服务平台对语言模型进行持续监控与基准测试，确保了实际应用场景中模型输出的稳定性与可靠性，为产业界的模型质量控制提供了关键依据。

衍生相关工作

围绕该数据集衍生的经典工作包括基于Arena-Hard管道开发的BenchBuilder自动化流程，该工作系统阐述了从动态数据到高质量基准的转换方法。后续研究进一步拓展了其在多模态评估、安全对齐测试等方向的应用，并催生了如LMSys等平台的大规模模型竞技场。这些衍生成果共同推动了开放、动态的评估生态系统的建立，为社区提供了可扩展的基准构建范式。