Rendra86318/vision-arena-bench-v0.1

VisionArena-Bench是一个包含500个多样化用户提示的自动评估基准，用于通过视觉语言模型（VLM）作为评委来近似Chatbot Arena的模型排名。数据集包含问题ID、主题簇名称、问题提示内容和对应的图像列表。数据集主要用于衡量人类偏好，包含大量STEM相关问题和OCR任务，但较少涉及STEM以外的专业领域问题。数据集的使用需遵守严格的许可协议，包括安全与节制、法律合规等条款。

VisionArena-Bench is an automatic benchmark of 500 diverse user prompts that can be used to cheaply approximate Chatbot Arena model rankings via automatic benchmarking with VLM as a judge. The dataset includes question IDs, cluster names, question prompts, and corresponding image lists. It is primarily designed to measure human preferences and contains a large number of STEM-related questions and OCR tasks, but fewer questions related to specialized domains outside of STEM. The use of the dataset is subject to a strict license agreement, including terms on safety and moderation, legal compliance, etc.

搜集汇总

数据集介绍

构建方式

VisionArena-Bench数据集源自LMArena平台收集的230K真实用户与视觉语言模型（VLM）的交互对话，经过精心筛选与聚类，最终构建出包含500个多样化用户提示的基准测试集。每个样本包含唯一的问题标识符、主题聚类名称、多轮对话内容以及对应的单张图像。数据集的构建旨在通过自动化评估流程，以VLM作为裁判，低成本地近似模拟Chatbot Arena中的人类偏好排名。

特点

该数据集的核心特点在于其设计目标为衡量人类偏好而非严格评估事实准确性，因此其问题分布显著偏向STEM领域、OCR任务及通用描述性任务，而较少涉及专业细分领域。每个样本均配有图像，支持单图像视觉问答场景。数据集规模适中（500个样本），兼顾了评估效率与代表性，为快速估算模型排名提供了经济高效的替代方案。

使用方法

数据集以标准格式提供，包含训练集划分，用户可通过HuggingFace Datasets库直接加载。使用时需注意其包含可能令人不适的不安全对话，应用前应实施适当的过滤与安全措施。数据集遵循MIT许可证，但附加了特定使用条款，包括禁止重新分发、不得识别个人身份、遵守模型特定使用条款等。评估代码即将发布，用户可参考配套论文与仓库进行自动化基准测试。

背景与挑战

背景概述

视觉问答（Visual Question Answering, VQA）领域近年来蓬勃发展，多模态大语言模型（VLM）的涌现使得模型性能评估成为关键课题。在此背景下，由加州大学伯克利分校的研究人员Christopher Chou、Lisa Dunlap等联合LMSYS组织于2024年构建的VisionArena-Bench应运而生。该数据集源自VisionArena项目，汇集了500个多样化用户提示，旨在通过自动化基准测试近似模拟Chatbot Arena中的人类偏好排名。其核心创新在于利用VLM作为评判者，为评估多模态对话系统提供一种经济高效的替代方案，显著降低了传统人工评估的成本与复杂性。该工作发表于arXiv（2412.08687），对推动自动化模型偏好估计研究具有重要影响力。

当前挑战

该数据集面临的核心挑战首先在于领域问题层面：与ImageNet解决图像分类不同，VisionArena-Bench聚焦于人类偏好的量化，而非显式的事实准确性，这要求评判标准需兼顾主观性与客观性，避免因VLM评判者的内在偏见导致排名失真。其次，构建过程中遇到多重困难：数据集虽涵盖STEM、OCR及通用描述等任务，但专业领域多样性不足，可能限制其在特定场景下的泛化能力；此外，数据集中包含不安全对话内容，需严格过滤与合规处理，以平衡研究开放性与伦理责任；最后，500个样本的规模虽便于快速迭代，但面对日益复杂的VLM模型，其统计显著性与代表性仍存挑战。

常用场景

经典使用场景

VisionArena-Bench 数据集作为视觉语言模型（VLM）自动评估的标杆，其经典使用场景在于模拟人类偏好排序的自动基准测试。该数据集精心挑选了500个多样化用户提示，涵盖STEM问题、OCR任务及通用图像描述等广泛领域，通过VLM作为评判者来近似估算模型在Chatbot Arena中的排名。研究者利用这些提示构建自动化评估流水线，无需昂贵的人工标注即可高效比较不同视觉语言模型的相对性能，从而在模型迭代中快速筛选出更符合人类偏好的候选方案。

解决学术问题

该数据集的核心学术贡献在于解决了视觉语言模型评估中主观偏好难以量化与规模化的问题。传统评估依赖人工评分或有限的标准测试集，成本高昂且难以反映真实用户偏好。VisionArena-Bench通过系统化收集真实用户与VLM的对话数据，并引入基于聚类的主题划分（如cluster_name字段），使得研究者能够从偏好维度而非简单的事实准确性角度评估模型。这推动了评估范式从客观指标向主观质量（如对话流畅性、回答相关性）的转变，为理解用户对VLM输出的真实满意度提供了可复现的基准框架。

衍生相关工作

该数据集衍生了一系列关于视觉语言模型自动评估与偏好学习的前沿工作。最直接的关联研究是VisionArena论文本身，其提出了利用VLM作为评判者的自动评估框架，并验证了在500个提示上计算的偏好排序与Chatbot Arena人工排名的高度一致性。后续工作进一步探索了基于该数据集的细粒度模型分析，例如针对不同聚类主题（如OCR vs. 通用描述）的模型能力剖析，以及将偏好信号融入强化学习微调流程以优化对话策略。这些研究共同推动了VLM评估从封闭式基准向开放式用户场景的扩展。