vinesmsuic/GenAI-Bench_image_edition_processed

该数据集包含多个字段，如源提示、目标提示、指令提示、源图像等，数据类型包括字符串、图像和浮点数。数据集包含一个训练分割，共有919个样本，总大小为107881735字节，下载大小为97440535字节。

原始信息汇总

数据集概述

数据集特征

• source_prompt: 字符串类型
• target_prompt: 字符串类型
• instruct_prompt: 字符串类型
• source_image: 图像类型
• left_model: 字符串类型
• left_output_image: 图像类型
• right_model: 字符串类型
• right_output_image: 图像类型
• vote_type: 字符串类型
• preferences: 浮点数类型（float64）
• left_clip_score: 浮点数类型（float64）
• right_clip_score: 浮点数类型（float64）
• clip_score_diff: 浮点数类型（float64）
• left_lpips_score: 浮点数类型（float64）
• right_lpips_score: 浮点数类型（float64）
• lpips_score_diff: 浮点数类型（float64）
• uid: 整数类型（int64）

数据集分割

• train:
  • 示例数量: 919
  • 数据大小: 107881735.0 字节

数据集大小

• 下载大小: 97440535 字节
• 数据集总大小: 107881735.0 字节

配置

• config_name: default
• data_files:
  • split: train
  • path: data/train-*

搜集汇总

数据集介绍

构建方式

该数据集名为GenAI-Bench_image_edition_processed，专注于图像编辑领域的生成式人工智能模型评估。构建方式上，数据集以成对比较为核心，为每个样本提供了源图像及其对应的源提示词和目标提示词，同时包含两个不同模型（左模型与右模型）对该源图像进行编辑后输出的结果图像。在此基础上，通过人工投票或自动评分机制记录偏好类型与偏好分数，并辅以CLIP分数、LPIPS分数及其差值等客观指标，最终形成结构化的比较数据。整个数据集共包含919个训练样本，以统一格式存储于HuggingFace平台。

使用方法

使用该数据集时，研究者可基于源图像与目标提示词，以指令跟随的方式评估不同生成模型的编辑能力。通过加载train分片中的图像与文本字段，可以复现成对比较场景，利用preferences和vote_type作为标签训练偏好预测模型或奖励函数。CLIP与LPIPS分数系列可作为额外的监督信号，用于微调图像编辑模型或优化生成策略。数据集以HuggingFace Datasets库的标准格式提供，支持直接通过load_dataset函数加载，便于集成到现有工作流中进行实验与分析。

背景与挑战

背景概述

在生成式人工智能迅猛发展的当下，图像编辑作为多模态内容生成的核心任务之一，其质量评估与偏好建模成为研究焦点。vinesmsuic/GenAI-Bench_image_edition_processed数据集由相关研究团队于近期创建，旨在系统性地比较不同生成式模型在指令驱动图像编辑任务中的表现。该数据集通过精心设计的源提示与目标提示对，收集了来自多个模型的输出图像，并引入了人工投票偏好、CLIP分数、LPIPS分数等多元评价指标，为探究模型间的性能差异与用户偏好提供了标准化基准。其核心研究问题聚焦于如何量化编辑结果在语义对齐与感知质量上的优劣，从而推动图像编辑模型从单一指标评价向更符合人类审美的方向演进。这一数据集的发布，为生成式图像编辑领域的可重复性研究奠定了重要基础，并促进了模型优化与公平比较的进程。

当前挑战

该数据集所面临的挑战首先体现在图像编辑领域固有的评价困境上：编辑任务不仅要求生成结果与目标提示在语义上高度一致，还需在视觉真实感、细节保留与风格协调等维度上达到平衡，而现有自动指标如CLIP分数和LPIPS分数难以全面捕捉人类对编辑质量的细腻感知，导致偏好标签的标注一致性成为难题。在数据集构建过程中，挑战同样显著：如何设计多样化的提示对以覆盖不同编辑复杂度（如物体替换、属性修改、风格迁移等）并确保源图像与目标提示的语义锚定，需要大量人工策划与验证。此外，多模型输出的收集与偏好投票机制易受标注者主观偏差影响，且919个样本的规模限制了模型间细粒度差异的统计效力，未来需扩展样本量与覆盖模型类型，以提升数据集的鲁棒性与泛化能力。

常用场景

经典使用场景

在生成式人工智能迅猛发展的时代，图像编辑任务的质量评估成为一项关键挑战。GenAI-Bench_image_edition_processed数据集专为评估和比较不同图像编辑模型的表现而设计，其核心场景在于通过成对图像对比与多维评分（如CLIP分数、LPIPS差异）来量化模型生成结果与目标语义的契合度。该数据集为研究者提供了标准化测试基准，用以分析模型在遵循指令、保持图像保真度等方面的能力差异，从而推动图像编辑技术的稳健进步。

解决学术问题

该数据集精准回应了生成式图像编辑领域长期存在的学术困境：缺乏统一、客观的评估体系。传统上，图像编辑质量依赖于主观人工评判，难以复现且效率低下。通过引入投票偏好、CLIP语义对齐度与LPIPS感知距离等量化指标，该数据集使研究者能够系统性地剖析模型在语义忠实度与视觉自然性之间的权衡关系。这一工作为对比不同编辑架构、优化损失函数设计提供了可重复的实验框架，显著提升了学术研究的严谨性与可比较性。

实际应用

在实际应用中，该数据集直接服务于图像编辑模型的工业级部署与迭代。例如，广告创意团队需快速生成符合文案要求的视觉素材，电商平台希望实现商品背景的自动化替换，影视后期则需要精准的风格迁移工具。通过该数据集，开发者可以高效筛选出在指令遵循度与图像质量上表现最优的模型，从而降低人工审核成本，加速生成式AI在内容生产、虚拟现实和数字设计等领域的落地进程。

数据集最近研究

最新研究方向

在生成式人工智能图像编辑领域，vinesmsuic/GenAI-Bench_image_edition_processed数据集为评估和优化文本引导的图像编辑模型提供了关键基准。该数据集聚焦于多模态对齐与感知质量的前沿探索，通过记录源图像与目标提示间的语义映射，以及基于CLIP和LPIPS的量化指标，为研究图像编辑中的保真度与语义一致性提供了标准化评测框架。当前热点方向包括利用偏好投票数据训练奖励模型以优化扩散模型的编辑精度，以及探索不同模型在复杂指令下的鲁棒性。该数据集的意义在于推动文本到图像编辑从定性展示向可复现的定量评估转变，加速了面向真实场景的编辑系统迭代，对提升生成内容的可控性与用户满意度具有深远影响。