TIGER-Lab/GenAI-Bench

该数据集包含三个主要配置：图像编辑（image_edition）、图像生成（image_generation）和视频生成（video_generation）。图像编辑配置包括源提示、目标提示、指令提示、源图像、左右模型输出图像和投票类型等特征。图像生成配置包括提示、左右模型生成图像和投票类型等特征。视频生成配置包括提示、左右模型生成视频和投票类型等特征。每个配置都有训练集，分别包含919、1735和1069个示例。数据集的总大小分别为107838641字节、246164095.125字节和345647字节。

原始信息汇总

数据集概述

1. 配置名称：image_edition

• 特征:
  • source_prompt: 数据类型为字符串
  • target_prompt: 数据类型为字符串
  • instruct_prompt: 数据类型为字符串
  • source_image: 数据类型为图像
  • left_model: 数据类型为字符串
  • left_output_image: 数据类型为图像
  • right_model: 数据类型为字符串
  • right_output_image: 数据类型为图像
  • vote_type: 数据类型为字符串
• 分割:
  • train:
    • 字节数: 107838641
    • 示例数: 919
• 下载大小: 97483862
• 数据集大小: 107838641

2. 配置名称：image_generation

• 特征:
  • prompt: 数据类型为字符串
  • left_model: 数据类型为字符串
  • left_image: 数据类型为图像
  • right_model: 数据类型为字符串
  • right_image: 数据类型为图像
  • vote_type: 数据类型为字符串
• 分割:
  • train:
    • 字节数: 246164095.125
    • 示例数: 1735
• 下载大小: 239481583
• 数据集大小: 246164095.125

3. 配置名称：video_generation

• 特征:
  • prompt: 数据类型为字符串
  • left_model: 数据类型为字符串
  • left_video: 数据类型为字符串
  • right_model: 数据类型为字符串
  • right_video: 数据类型为字符串
  • vote_type: 数据类型为字符串
• 分割:
  • train:
    • 字节数: 345647
    • 示例数: 1069
• 下载大小: 100142
• 数据集大小: 345647

数据文件路径

• image_edition: image_edition/train-*
• image_generation: image_generation/train-*
• video_generation: video_generation/train-*

许可证

• MIT

搜集汇总

数据集介绍

构建方式

在生成式人工智能迅猛发展的时代背景下，如何客观评估多模态大语言模型对AI生成内容的评判能力，成为亟待解决的关键问题。TIGER-Lab/GenAI-Bench数据集应运而生，旨在通过对比人类偏好来检验MLLMs作为多模态奖励模型的性能。该数据集的构建依托于GenAI Arena平台收集的海量用户投票数据，经过严格的NSFW过滤器与启发式规则筛选，最终精选出图像生成、图像编辑与视频生成三个子任务的高质量样本。其中，图像生成包含1735条投票，图像编辑包含919条投票，视频生成包含1069条投票。每个样本均采用成对比较模板，要求模型对两幅生成内容输出“A>B”、“B>A”、“A=B=Good”或“A=B=Bad”四类标签，从而与人类偏好进行对齐评估。

使用方法

使用GenAI-Bench数据集进行模型评估时，研究者需遵循标准化的流程。首先，从HuggingFace仓库加载对应子任务的数据集配置，例如image_generation、image_edition或video_generation，并选择test或test_v1数据划分。随后，参照官方提供的成对比较模板（位于GitHub仓库的templates目录），设计模型输入格式，要求模型对左右两幅生成内容进行四分类投票。评估过程中，通过比对模型预测标签与数据集中的人类投票标签，计算各类别准确率及平均准确率，从而量化模型与人类偏好的一致性。研究者也可依据GitHub指南贡献新模型结果，参与排行榜更新。该数据集支持通过HuggingFace Datasets库便捷加载，适用于快速迭代与公平对比。

背景与挑战

背景概述

GenAI-Bench由TIGER-Lab研究团队于2024年推出，旨在评估多模态大语言模型（MLLMs）对生成式人工智能内容质量的判断能力。该基准通过收集来自GenAI Arena平台的人类偏好投票，构建了涵盖图像生成、图像编辑和视频生成三大任务的成对比较数据集。其核心研究问题在于探究现有MLLMs作为多模态奖励模型的效能，即它们能否准确对齐人类对生成内容质量的审美与偏好。GenAI-Bench的出现为生成式AI领域引入了更严格的评价标准，推动了MLLMs在主观质量评估方面的发展，成为连接人类感知与机器评判的重要桥梁。

当前挑战

GenAI-Bench面临的核心挑战在于多模态模型与人类偏好对齐的复杂性。首先，生成式AI内容的审美评价高度主观，不同个体对同一内容的偏好可能存在显著差异，这使得模型在判断图像生成、编辑及视频生成质量时难以达到人类共识水平。其次，基准构建过程中需应对数据筛选难题，通过NSF过滤器及启发式方法从海量投票中提炼高质量样本，最终仅保留数千条有效数据，这一过程面临噪声干扰与代表性不足的双重风险。此外，当前最优模型（如GPT-4o）在各项任务上的平均准确率不足50%，凸显了现有MLLMs在细粒度质量评估上的显著瓶颈，亟需更强大的感知与推理能力来突破这一局限。

常用场景

经典使用场景

GenAI-Bench 作为一项专为评估多模态大语言模型（MLLMs）在判断生成式人工智能内容质量方面能力的基准，其经典使用场景聚焦于衡量 MLLMs 作为多模态奖励模型的效能。该基准通过精心筛选来自 GenAI Arena 平台的人类偏好投票数据，构建了涵盖图像生成、图像编辑和视频生成三大任务的成对比较评估框架。在这一框架下，研究者能够系统性地测试模型在区分不同生成内容优劣时的对齐程度，从而客观揭示 MLLMs 在模拟人类审美与质量判断方面的真实水平。这种标准化的评估范式为多模态模型的奖励建模能力提供了可靠且可复现的度量标准。

解决学术问题

该数据集有效解决了当前学术界在评估生成式 AI 模型时缺乏人类偏好对齐基准的难题。传统评估方法往往依赖自动指标如 FID、CLIP 分数等，但这些指标难以捕捉人类对生成内容质量的细微感知。GenAI-Bench 通过引入大规模人类投票数据作为金标准，为研究者提供了一个能够量化 MLLMs 与人类偏好一致性的权威工具。它揭示了现有模型在视觉质量、语义一致性和美学评价等方面的显著差距，推动了多模态奖励模型从单一指标向人本化评估范式的转变，为理解 MLLMs 的感知局限性和优化方向奠定了方法论基础。

实际应用

在实际应用中，GenAI-Bench 为生成式 AI 产品的质量监控与模型选型提供了关键支撑。内容创作平台可利用该基准筛选出与人类偏好最契合的图像或视频生成模型，从而提升用户体验和内容满意度。例如，在广告创意、影视制作和社交媒体内容生成等场景中，开发者能够依据该基准的排行榜选择最优模型，确保输出内容符合大众审美标准。此外，该数据集还可用于训练和微调自动评审系统，辅助企业实现大规模生成内容的自动化质量审核，降低人工筛选成本，加速 AI 生成内容在商业场景中的落地部署。

数据集最近研究

最新研究方向

GenAI-Bench作为多模态大语言模型（MLLMs）在生成式AI内容质量评判中的对齐能力基准，正成为前沿研究方向的核心工具。该数据集通过收集来自GenAI Arena平台的成对比较投票，涵盖图像生成、图像编辑和视频生成三大任务，构建了超过3700个人类偏好样本。当前研究热点聚焦于利用该基准评估MLLMs作为多模态奖励模型的性能，例如在最新排行榜上，GPT-4o和Gemini-1.5-Pro分别以49.2%和48.94%的平均准确率领先，而传统模型如LLaVA和Idefics2则表现参差不齐。这一方向与生成式AI的可信度评估和人类偏好对齐紧密相关，尤其在文生图、视频生成等热点应用场景中，GenAI-Bench为衡量模型是否真正“理解”用户意图提供了客观标尺，推动了奖励建模和反馈学习领域的发展，其影响力体现在促进更可靠、更符合人类审美的生成模型迭代上。