prometheus-eval/Perception-Collection

Perception Collection是第一个可用于训练评估者视觉语言模型（VLM）的多模态反馈数据集。该数据集包含15K细粒度标准，用于确定每个实例的关键方面。数据集的结构包括图像路径、指令、输出等多个字段，并且数据集的训练部分包含150,108个样本。数据集的语言为英语。

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-4.0
• 任务类别:
  • 视觉问答
  • 文本生成
  • 图像到文本
• 语言: 英语
• 数据集大小: 100K<n<1M

数据集摘要

Perception Collection 是首个多模态反馈数据集，可用于训练评估型视觉语言模型（VLM）。该数据集包含15K细粒度标准，用于确定每个实例的关键方面。

数据集结构

• image: 用于训练的图像路径，包括MMMU数据集和COCO 2017训练数据集的图像。
• instruction: 提供给评估型VLM的输入，包括评估指令和响应、参考答案、评分标准。
• output: 评估型VLM应生成的输出，包括反馈和评分决策，以[RESULT]分隔。
• orig_instruction: 待评估的指令，与包含所有组件的指令不同。
• orig_response: 待评估的响应。
• orig_reference_answer: 对orig_instruction的参考答案。
• orig_criteria: 用于评估orig_response的评分标准。
• orig_score1_description: 给出1分的描述。
• orig_score2_description: 给出2分的描述。
• orig_score3_description: 给出3分的描述。
• orig_score4_description: 给出4分的描述。
• orig_score5_description: 给出5分的描述。
• orig_feedback: 对orig_response的反馈。
• orig_score: 给orig_response的整数评分（1到5之间）。

数据分割

名称	训练集大小
Perception-Collection	150,108

引用信息

如果该数据集对您有帮助，请考虑引用我们的论文：

bibtex @misc{lee2024prometheusvision, title={Prometheus-Vision: Vision-Language Model as a Judge for Fine-Grained Evaluation}, author={Seongyun Lee and Seungone Kim and Sue Hyun Park and Geewook Kim and Minjoon Seo}, year={2024}, eprint={2401.06591}, archivePrefix={arXiv}, primaryClass={cs.CL} }