prometheus-eval/Perception-Bench

Perception-Bench是一个用于评估视觉语言模型（VLM）在不同图像领域长篇回答能力的基准测试集。它是Perception-Collection的保留测试集。数据集包含图像路径、指令、原始指令、参考答案、评分标准等字段。测试集包含500个样本。

Perception-Bench is a benchmark for evaluating the long-form response of a Vision Language Model (VLM) across various domains of images. It is a held-out test set of the Perception-Collection. The dataset includes image paths, instructions, original instructions, reference answers, scoring criteria, and descriptions for each scoring level. The dataset is primarily in English and contains 500 test samples.

原始信息汇总

数据集卡片

数据集概述

Perception-Bench 是一个用于评估视觉语言模型（VLM）在各种图像领域中长篇响应的基准。它是 Perception-Collection 的保留测试集。

语言

英语

数据集结构

• image: 用于训练的图像路径，包含来自 MMMU 数据集和 COCO 2017 训练数据集的图像。
• instruction: 提供给评估 VLM 的输入，包括评估指令和响应、参考答案、评分标准。
• orig_instruction: 待评估的指令，与包含所有组件的指令不同。
• orig_reference_answer: 对 orig_instruction 的参考答案。
• orig_criteria: 用于评估 orig_response 的评分标准。
• orig_score1_description: 给出 orig_response 得分1的描述。
• orig_score2_description: 给出 orig_response 得分2的描述。
• orig_score3_description: 给出 orig_response 得分3的描述。
• orig_score4_description: 给出 orig_response 得分4的描述。
• orig_score5_description: 给出 orig_response 得分5的描述。

数据分割

名称	测试集数量
Perception-Bench	500

引用信息

如果您发现该基准有用，请考虑引用我们的论文：

bibtex @misc{lee2024prometheusvision, title={Prometheus-Vision: Vision-Language Model as a Judge for Fine-Grained Evaluation}, author={Seongyun Lee and Seungone Kim and Sue Hyun Park and Geewook Kim and Minjoon Seo}, year={2024}, eprint={2401.06591}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

Perception-Bench数据集构建于视觉语言模型（VLM）评估的迫切需求之上，旨在填补现有基准在长格式响应细粒度评价方面的空白。该数据集来源于Perception-Collection，通过精心筛选MMMU数据集与COCO 2017训练集中的图像，确保覆盖多样化的视觉领域。每条数据包含图像路径、待评估的指令与响应、参考答案及评分标准，评分维度从1至5级逐级细化描述，形成结构化的评估框架。最终，数据集以500个测试样本的形式呈现，作为保留测试集，专用于衡量VLM生成复杂文本回复的能力。

特点

Perception-Bench的核心特色在于其对长格式视觉语言响应的精细化评估能力。相较于传统二元或简略评分，该数据集引入五级评分体系，每个分数均附有详尽的行为描述，使评估过程更具可解释性和一致性。此外，数据集涵盖图像领域广泛，从自然场景到学术图表，挑战VLM在多模态理解中的综合表现。其作为Perception-Collection的保留集，避免了训练数据泄露，确保了评估的公正性与可靠性。这种设计不仅促进了VLM作为评判者的角色发展，还为细粒度视觉语言任务设立了新标准。

使用方法

使用Perception-Bench时，研究者需加载包含图像、指令、参考答案及评分细则的JSON结构数据。首先，将图像与原始指令输入目标VLM，生成待评估的响应。随后，利用数据集提供的评分标准（如score1_description至score5_description），通过评估器VLM对生成响应进行打分。最终，将模型得分与数据集中的预设评分对比，以量化VLM的评估一致性。该过程需遵循英文语言规范，并建议参考Prometheus-Vision论文中的实现细节，以确保评估流程的标准化与可复现性。

背景与挑战

背景概述

随着多模态大语言模型（VLM）在视觉理解与自然语言生成领域的迅猛发展，如何系统性地评估其生成的长篇响应质量成为亟待解决的核心问题。在此背景下，韩国科学技术院（KAIST）的研究团队Seongyun Lee、Seungone Kim等人于2024年构建了Perception-Bench基准数据集，旨在为VLM的细粒度评估提供标准化测试框架。该数据集源自Perception-Collection，包含500个精心设计的测试样本，覆盖多种图像域，并作为非公开测试集使用。其核心研究问题聚焦于如何通过引入参考答案与评分准则，使评估模型能够对VLM生成的长篇响应进行多维度的量化分析。Perception-Bench的发布弥补了现有视觉问答基准在长篇响应评估上的空白，为多模态模型的鲁棒性、一致性与细粒度能力验证提供了关键工具，对推动VLM在复杂场景下的实际应用具有重要影响力。

当前挑战

Perception-Bench所应对的首要挑战在于视觉语言模型（VLM）长篇响应评估的领域难题：传统指标如精确匹配或BLEU无法捕捉生成内容的语义丰富性与逻辑连贯性，亟需设计能衡量多维度质量（如相关性、完整性、事实准确性）的评估方案。其次，数据集构建过程中面临显著挑战：需从MMMU与COCO 2017等异构图像源中精选样本，确保覆盖自然场景、学术图表与专业视觉任务；同时，为每个样本手工制定包含5级评分细则的参考标准，要求评分描述兼顾普适性与领域特异性，避免评估偏差。此外，如何确保测试集与训练集（Perception-Collection）的独立性，防止数据泄露，也是构建时需严格把控的难点。最终，评估模型（如Prometheus-Vision）需在有限的500个样本上实现稳健的泛化能力，这对小样本下的评价一致性提出了更高要求。

常用场景

经典使用场景

Perception-Bench作为视觉语言模型（VLM）长格式响应的基准测试集，其经典使用场景在于系统评估VLM在多领域图像上的生成质量。该数据集包含500个精心设计的测试样本，每个样本都配备了参考答案、评分标准以及从1到5的详细评分描述，使得研究者能够对模型输出进行细粒度的自动化评判。通过这一基准，学术界得以标准化地衡量不同VLM在视觉感知、语言生成和跨模态对齐方面的综合能力，从而推动模型在复杂视觉问答和图文生成任务中的性能优化。

解决学术问题

该数据集旨在解决视觉语言模型评估中长期存在的两个核心学术问题：一是缺乏针对长格式响应的细粒度评价体系，二是现有基准往往局限于单一领域或简单任务。Perception-Bench通过融合来自MMMU和COCO等多样化来源的图像，覆盖了科学图表、日常场景等广泛领域，并设计了多维度的评分准则，使研究者能够深入剖析模型在逻辑推理、细节描述和语义一致性等维度的表现。这一方法显著提升了VLM评估的客观性和可解释性，为模型迭代提供了可靠的量化依据。

衍生相关工作

Perception-Bench的提出直接催生了基于评判模型的视觉语言评估范式，其相关经典工作包括Prometheus-Vision系列中提出的VLM-as-a-Judge方法，以及后续基于该基准开发的细粒度奖励模型和偏好优化算法。研究者进一步扩展了Perception-Collection数据集，构建了更大规模的训练-测试对，并衍生出如Multi-View Evaluation和Cross-Domain Consistency Check等评估框架。这些工作共同推动了视觉语言模型从单一指标评测向多维度、可解释性评估的演进。