futurehuhu/GenAI-Bench

GenAI-Bench是一个基准数据集，旨在通过比较从GenAI-Arena收集的人类偏好，来评估多模态大语言模型（MLLMs）判断AI生成内容质量的能力。换句话说，它评估现有MLLMs作为多模态奖励模型的性能，从这个角度看，GenAI-Bench是一个针对多模态生成模型的奖励基准。数据集经过NSFW过滤器和其他启发式方法过滤现有投票，最终包含1735个图像生成投票、919个图像编辑投票和1069个视频生成投票，用于评估MLLMs在与人类偏好对齐方面的性能。每个任务采用成对比较模板，模型被要求为每对AI生成内容输出4个标签（`A>B`、`B>A`、`A=B=Good`、`A=B=Bad`），然后通过比较模型预测与人类偏好来计算平均准确率。GenAI-Bench is a benchmark designed to benchmark MLLMs’s ability in judging the quality of AI generative contents by comparing with human preferences collected through our GenAI-Arena. In other words, we are evaluating the capabilities of existing MLLMs as a multimodal reward model, and in this view, GenAI-Bench is a reward-bench for multimodal generative models. We filter existing votes collected via NSFW filter and other heuristics, and then finally resulting in 1735 votes for image generation, 919 votes for image editing, and 1069 votes for video generation, which is used to evaluate the performance of MLLMs on aligning with human preferences. We adopts a pairwise comparison template for each tasks, where the model is asked to output 4 labels for each pair of AI generative contents, which are `A>B`, `B>A`, `A=B=Good`, `A=B=Bad`. We then calculate the average accuracy of the model by comparing the models prediction with the human preference.

搜集汇总

数据集介绍

构建方式

GenAI-Bench是一个旨在评估多模态大语言模型（MLLMs）对人工智能生成内容质量判断能力的基准数据集。其构建过程基于来自GenAI Arena平台的匿名化人类偏好投票数据，经过NSFW过滤器与启发式规则清洗后，最终筛选出图像生成、图像编辑与视频生成三个任务的有效投票，分别包含1735、919与1069条样本。每个任务采用成对比较模板，要求模型为每对生成内容输出“A>B”、“B>A”、“A=B=Good”或“A=B=Bad”四种标签，并通过与人类偏好的一致性计算平均准确率。

特点

该数据集的核心特色在于其多模态覆盖与人类偏好对齐的评估视角。它横跨图像生成、图像编辑与视频生成三大生成任务，每个任务均提供结构化的成对比较数据，包括源提示、目标提示、模型输出与投票类型。数据集特别注重评估MLLMs作为多模态奖励模型的能力，通过严格的过滤机制确保投票质量，并采用四标签分类模板捕捉人类对生成内容优劣的细微判断，从而提供比传统二分类评估更丰富的对齐度量。

使用方法

使用GenAI-Bench时，研究者需加载HuggingFace上的数据集，根据任务类型选择image_generation、image_edition或video_generation配置，并指定test或test_v1分片。评估流程遵循成对比较范式：对每个样本中的左、右模型输出，调用待评估的MLLM生成四分类预测，计算其与人类投票标签的一致性准确率。具体模板与评估代码已公开在GitHub仓库中，支持用户直接复现排行榜结果或提交新模型进行评测。

背景与挑战

背景概述

GenAI-Bench是2024年由TIGER-Lab研究团队推出的一项开创性基准，旨在评估多模态大语言模型在判断生成式人工智能内容质量方面的能力。该数据集通过收集来自GenAI Arena平台的用户偏好投票，构建了对图像生成、图像编辑和视频生成三大任务的成对比较评估体系。其核心研究问题在于量化现有MLLMs作为多模态奖励模型与人类偏好对齐的程度，从而为生成式AI的自动评估提供可靠的参考标准。GenAI-Bench的出现填补了该领域缺乏系统化、多元化评估基准的空白，对推动生成式模型的优化与发展具有重要影响力。

当前挑战

GenAI-Bench所面临的挑战体现在多个层面。在领域问题层面，如何准确衡量MLLMs对生成内容质量的判断能力，尤其是在处理图像编辑与视频生成等复杂任务时，模型需克服视觉细节、时间连贯性等细微差异带来的评估困难。在构建过程中，研究人员需从大量用户投票中筛选有效数据，兼容有害内容过滤（NSFW filter）及其他启发式规则，以确保最终样本的纯净度。此外，采用成对比较模板要求模型输出四种标签，这对模型的理解与判别精度提出了极高要求，且不同任务的模板差异显著，增加了构建的统一性与标准化的难度。

常用场景

经典使用场景

GenAI-Bench 作为一项针对多模态大语言模型（MLLMs）在生成式人工智能内容质量评判能力上的基准测试，其经典使用场景聚焦于评估模型在图像生成、图像编辑和视频生成三类任务中与人类偏好对齐的程度。具体而言，该基准通过精心筛选来自 GenAI Arena 平台的用户投票数据，构建了包含1735个图像生成、919个图像编辑和1069个视频生成样本的测试集。研究者采用成对比较模板，要求模型对一对生成内容输出四种偏好标签（如 A>B 或 A=B=Good），最终通过计算模型预测与人类偏好的一致性准确率来衡量其作为多模态奖励模型的效能。这一范式使得 GenAI-Bench 成为检验 MLLMs 主观审美判断能力的关键工具。

解决学术问题

GenAI-Bench 有效解决了生成式人工智能领域长期存在的核心学术问题——如何客观且标准化地评估多模态大语言模型在内容质量评判上的能力。传统评估往往依赖人工标注，成本高昂且难以复现，而该基准通过引入成对比较模板和人类偏好数据，为 MLLMs 提供了一个可量化的评价框架。其意义在于，它首次系统性地将多模态奖励模型的概念落地，使得研究者能够比较不同模型（如 GPT-4o 与 Gemini-1.5-Pro）在审美一致性上的差距。此外，该基准的高质量过滤机制确保了数据可靠性，从而推动了从主观评价到科学评测的范式转变，对促进生成式 AI 的透明度和可解释性具有深远影响。

衍生相关工作

基于 GenAI-Bench 的架构与数据集，已衍生出一系列具有影响力的相关工作。其基础设施之一的 GenAI Arena 平台被广泛用作收集人类偏好的开放评估环境，启发了后续在人工反馈强化学习（RLHF）领域的多项研究。此外，该基准的成对比较模板被多个工作采纳或改进，用于构建更细粒度的多模态奖励模型，例如在视频理解与文本到图像合成任务中引入时间一致性与语义对齐的评估维度。论文中公开的排行榜（如 GPT-4o 和 Gemini-1.5-Pro 的对比）也推动了 MLLMs 在主观任务上的性能竞赛，催生出针对零样本和少样本场景的优化策略，进一步拓展了生成式 AI 评估的理论边界。