lmarena-ai/arena-hard-auto-v0.1

---
license: apache-2.0
dataset_info:
features:
- name: question_id
dtype: string
- name: category
dtype: string
- name: cluster
dtype: string
- name: turns
list:
- name: content
dtype: string
splits:
- name: train
num_bytes: 251691
num_examples: 500
download_size: 154022
dataset_size: 251691
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

## Arena-Hard-Auto

**Arena-Hard-Auto-v0.1** ([See Paper](https://arxiv.org/abs/2406.11939)) is an automatic evaluation tool for instruction-tuned LLMs. It contains 500 challenging user queries sourced from Chatbot Arena. We prompt GPT-4-Turbo as judge to compare the models' responses against a baseline model (default: GPT-4-0314). Notably, Arena-Hard-Auto has the highest *correlation* and *separability* to Chatbot Arena among popular open-ended LLM benchmarks ([See Paper](https://arxiv.org/abs/2406.11939)). If you are curious to see how well your model might perform on Chatbot Arena, we recommend trying Arena-Hard-Auto.

Please checkout our GitHub repo on how to evaluate models using Arena-Hard-Auto and more information about the benchmark.

If you find this dataset useful, feel free to cite us!
```
@article{li2024crowdsourced,
title={From Crowdsourced Data to High-Quality Benchmarks: Arena-Hard and BenchBuilder Pipeline},
author={Li, Tianle and Chiang, Wei-Lin and Frick, Evan and Dunlap, Lisa and Wu, Tianhao and Zhu, Banghua and Gonzalez, Joseph E and Stoica, Ion},
journal={arXiv preprint arXiv:2406.11939},
year={2024}
}
```

许可证：Apache-2.0
数据集信息：
特征字段：
- 字段名：question_id，数据类型：字符串
- 字段名：category，数据类型：字符串
- 字段名：cluster，数据类型：字符串
- 字段名：turns，为列表类型，其子字段为：
- 字段名：content，数据类型：字符串
划分集：
- 划分名称：train，字节数：251691，样本量：500
下载大小：154022
数据集大小：251691
配置项：
- 配置名称：default，数据文件：
- 对应划分：train，文件路径：data/train-*

**Arena-Hard-Auto-v0.1**（[详见论文](https://arxiv.org/abs/2406.11939)）是一款面向指令微调大语言模型（Large Language Model，LLM）的自动化评估工具。该基准包含500条源自Chatbot Arena的高难度用户查询。我们采用GPT-4-Turbo作为评判模型，将待测模型的输出与基线模型（默认采用GPT-4-0314）进行对比评估。值得注意的是，在当前主流的开放式大语言模型基准中，Arena-Hard-Auto与Chatbot Arena的*相关性*和*区分度*均为最高（[详见论文](https://arxiv.org/abs/2406.11939)）。若您希望了解自己的模型在Chatbot Arena上的实际表现，我们推荐使用Arena-Hard-Auto进行评估。

请访问我们的GitHub仓库，获取使用Arena-Hard-Auto评估模型的具体方法以及该基准的更多相关信息。

若您认为本数据集对您的研究有所帮助，欢迎引用我们的工作！

@article{li2024crowdsourced,
title={From Crowdsourced Data to High-Quality Benchmarks: Arena-Hard and BenchBuilder Pipeline},
author={Li, Tianle and Chiang, Wei-Lin and Frick, Evan and Dunlap, Lisa and Wu, Tianhao and Zhu, Banghua and Gonzalez, Joseph E and Stoica, Ion},
journal={arXiv preprint arXiv:2406.11939},
year={2024}
}

搜集汇总

数据集介绍

构建方式

Arena-Hard-Auto-v0.1数据集的构建，是在Chatbot Arena平台上收集了500个具有挑战性的用户查询，利用GPT-4-Turbo作为评判者，对比不同模型相对于基准模型（默认为GPT-4-0314）的响应。该数据集的构建过程充分体现了对指令微调大型语言模型自动评估工具的需求，旨在为研究者提供一个高质量的评估标准。

特点

该数据集的特点在于其与Chatbot Arena的高度相关性及分离度，在众多开放域大型语言模型基准测试中表现突出。它提供了一个严格的评估环境，能够有效区分不同模型的性能，为模型优化和比较提供了可靠的依据。

使用方法

使用Arena-Hard-Auto数据集进行模型评估时，用户可根据GitHub仓库中的指南进行操作。该数据集的易用性使其成为研究者和开发者的优选，通过Arena-Hard-Auto的评估结果，用户可以预测其模型在Chatbot Arena上的表现，进而指导模型的改进和迭代。

背景与挑战

背景概述

在自然语言处理领域，随着指令微调语言模型（LLMs）的兴起，自动评估工具的需求日益迫切。Arena-Hard-Auto-v0.1数据集，创建于2024年，由Li等人提出，旨在为指令微调LLMs提供一种自动化的评估手段。该数据集汇聚了来自Chatbot Arena的500个具有挑战性的用户查询，并采用GPT-4-Turbo作为评判标准，以比较各模型响应与基准模型（默认为GPT-4-0314）的表现。Arena-Hard-Auto在开放式LLM基准中与Chatbot Arena的相关性和区分度最高，对相关领域产生了显著影响。

当前挑战

Arena-Hard-Auto数据集在构建过程中面临的主要挑战包括如何确保数据的质量和多样性，以及如何评价LLMs在复杂对话场景中的表现。该数据集需解决领域问题，即如何精确地衡量指令微调LLMs的性能。此外，构建过程中还需克服数据收集、标注的质量控制，以及高成本的人工评估等问题。

常用场景

经典使用场景

在自动评估指令微调的大型语言模型领域，Arena-Hard-Auto-v0.1数据集扮演着至关重要的角色。该数据集汇集了来自Chatbot Arena的500个高难度用户查询，旨在通过GPT-4-Turbo的评判，比较不同模型对基准模型（默认为GPT-4-0314）的响应。这一过程不仅测试了模型的应答能力，也检验了其在开放性问题上的表现，为研究者和开发者提供了一个精确的评估工具。

衍生相关工作

基于Arena-Hard-Auto-v0.1数据集的研究成果，已经衍生出了一系列相关的工作，如构建高质量基准的流程、模型评估方法的改进等。这些工作不仅促进了学术界的讨论，也为工业界提供了实用的模型评估工具，推动了自然语言处理技术的进步。

数据集最近研究

最新研究方向

在自然语言处理领域，尤其是大型语言模型评估方面，lmarena-ai/arena-hard-auto-v0.1数据集以其独特的自动评估工具属性备受关注。该数据集汇聚了500个极具挑战性的用户查询，旨在对指令微调后的LLM模型进行评估。通过GPT-4-Turbo的判断，该数据集能够有效地比较各模型与基线模型（默认为GPT-4-0314）的响应。其高相关性及分离度使其在众多开放端LLM基准中脱颖而出，为评估模型在Chatbot Arena上的表现提供了重要参考。此数据集的提出，不仅推动了LLM评估技术的发展，也为相关领域的研究提供了新的视角和工具。