vinesmsuic/GenAI-Bench_image_generation_processed

该数据集包含多种特征，包括文本类型的prompt和left_model，图像类型的left_image和right_image，以及数值类型的vote_type、preferences等。数据集分为训练集，共有1735个样本，总大小为242389182.78字节。

原始信息汇总

数据集概述

数据集特征

• prompt: 字符串类型
• left_model: 字符串类型
• left_image: 图像类型
• right_model: 字符串类型
• right_image: 图像类型
• vote_type: 字符串类型
• preferences: 浮点数类型（float64）
• left_clip_score: 浮点数类型（float64）
• right_clip_score: 浮点数类型（float64）
• clip_score_diff: 浮点数类型（float64）
• uid: 整数类型（int64）

数据集分割

• 名称: train
• 示例数量: 1735
• 数据大小: 242389182.78 字节

数据集大小

• 下载大小: 239240930 字节
• 数据集总大小: 242389182.78 字节

配置

• 配置名称: default
• 数据文件路径: data/train-*

搜集汇总

数据集介绍

构建方式

本数据集名为GenAI-Bench_image_generation_processed，旨在为图像生成领域的人工智能模型评估提供基准。其构建基于对多种生成模型输出的系统化采集与标注，每条样本包含文本提示词、左右两幅由不同模型生成的图像、对应模型名称、人工投票偏好类型及偏好分数。同时，引入了CLIP评分及其差值作为客观质量指标，并赋予唯一标识符，形成了多维度的结构化数据。

特点

该数据集的核心特点在于融合了主观人类偏好与客观CLIP评分，实现了对图像生成质量的综合评价。每条记录均包含成对图像及其来源模型，便于进行对比分析。数据集中包含1735条训练样本，覆盖多种文本提示场景，确保了评估的广度和多样性。此外，偏好分数与CLIP评分差异的并存为研究人机评价一致性提供了宝贵素材。

使用方法

该数据集主要用于训练和评估图像生成模型的偏好预测能力。研究者可加载train分区的数据，利用提示词和成对图像作为输入，以投票类型或偏好分数为目标变量，构建模型性能评估框架。CLIP评分及其差异可作为辅助特征，用于分析模型输出与人类判断的关联。数据以标准格式存储，便于集成至现有深度学习流水线，支持偏好学习、模型对比等任务。

背景与挑战

背景概述

在生成式人工智能迅猛发展的当下，图像生成模型的质量评估成为关键研究课题。vinesmsuic/GenAI-Bench_image_generation_processed数据集应运而生，由国际研究团队于近期构建，旨在系统性地对比不同文本到图像生成模型的输出效果。该数据集以成对图像比较为核心，收录了来自多个前沿生成模型（如DALL·E、Stable Diffusion等）的图像样本，并引入了人类偏好投票与CLIP评分等客观指标。其核心研究问题在于如何量化生成图像在语义对齐、视觉逼真度及用户偏好上的差异，从而为模型优化提供参考基准。该数据集的发布显著推动了生成式图像评估领域的标准化进程，为后续研究提供了可复现的对比框架。

当前挑战

该数据集面临的核心挑战源于生成图像评估的复杂性。首先，人类对图像质量的感知存在主观性，偏好投票可能受文化背景、审美差异及任务场景影响，难以形成绝对客观的度量标准。其次，CLIP评分虽能捕捉图像与文本的语义匹配度，却无法全面反映图像的细节保真度、构图合理性及艺术价值，导致自动评估与人类判断间存在鸿沟。在构建过程中，数据采集面临模型版本迭代迅速、生成图像风格多样化的难题，需确保成对比较的公平性与样本代表性。此外，偏好数据的标注成本高昂，且需设计严谨的投票机制以规避锚定效应等认知偏差，这些因素均制约了数据集的规模与泛化能力。

常用场景

经典使用场景

在生成式人工智能迅猛发展的浪潮中，图像生成模型的评估与比较始终是一个核心议题。GenAI-Bench_image_generation_processed数据集应运而生，其经典应用场景在于为不同文本到图像生成模型提供结构化的偏好对比基准。通过收集大量人类对生成图像的成对投票，该数据集为研究者提供了一个标准化平台，用以量化分析模型在视觉质量、语义对齐和美学表现上的差异，从而推动生成模型评估从主观印象走向客观实证。

衍生相关工作

基于该数据集，学术界衍生出多项经典工作，包括利用偏好数据训练奖励模型以指导扩散模型的采样过程，以及开发跨模型一致性评估框架。部分研究还将其与大规模语言模型结合，构建多模态偏好预测系统，进一步拓展了人机协同创作的理论边界。这些工作不仅深化了对生成模型内在机理的认识，也为后续研究如指令跟随生成、可控性增强等方向奠定了基础。

数据集最近研究

最新研究方向

随着生成式人工智能在图像创作领域的迅猛发展，如何系统性地评估和比较不同文生图模型的性能成为关键课题。GenAI-Bench_image_generation_processed数据集应运而生，聚焦于多模型生成图像的偏好对齐与质量量化。该数据集不仅收录了来自不同模型的成对图像及其对应的文本提示，还创新性地引入了人工投票偏好与CLIP分数差异等细粒度指标，为研究生成图像的真实感、美学一致性以及模型间的细微差异提供了标准化基准。当前前沿方向集中在利用此类数据训练偏好学习模型，优化扩散模型的生成策略，并探索多模态评估体系，以推动生成式AI在创意产业中的可靠应用与伦理对齐。这一数据集的构建对于规范文生图模型的评估标准、促进公平比较以及引导技术向更符合人类审美与语义理解的方向演进具有深远意义。