UCSC-VLAA/GPT-Image-Edit-1.5M

GPT-Image-Edit-1.5M 是一个基于 HQ-Edit、UltraEdit、OmniEdit 和 Complex-Edit 构建的全面图像编辑数据集，所有输出图像都使用 GPT-Image-1 重新生成。数据集包含 1,553,575 个样本，涵盖原始、改写和复杂指令类型，用于图像编辑任务。数据集由 Hugging Face Hub 提供，并支持多进程下载。

GPT-Image-Edit-1.5M is a comprehensive image editing dataset built upon HQ-Edit, UltraEdit, OmniEdit, and Complex-Edit, with all output images regenerated using GPT-Image-1. The dataset consists of 1,553,575 samples, covering original, rewritten, and complex instruction types for image editing tasks. It is provided by Hugging Face Hub and supports multi-process download.

搜集汇总

数据集介绍

构建方式

GPT-Image-Edit-1.5M是一个百万级规模的图像编辑数据集，其构建依托于HQ-Edit、UltraEdit、OmniEdit和Complex-Edit等现有高质量数据集。所有输出图像均经由GPT-Image-1模型重新生成，确保了编辑结果的一致性与高保真度。数据集的构建过程包括对原始输入图像保留或利用GPT-Image-1重新生成输入图像，再通过同一模型完成编辑任务，从而形成输入-输出图像对。指令方面，数据集保留了原始指令，并引入了重写指令和复杂指令两种增强类型，分别提升了指令的多样性与任务复杂度。最终，数据集整合了超过155万条样本，覆盖添加、属性修改、风格迁移、移除、替换等多种编辑任务。

使用方法

数据集可通过Hugging Face Hub使用Git LFS直接克隆下载，也可利用提供的多进程下载脚本加速获取。数据准备阶段，需将标注JSON文件与图像目录关联，并按照指定格式生成训练所需的data.txt文件，其中每行包含图像根路径、对应的JSON标注文件路径以及区域权重策略标志。图像路径采用相对于任务目录的表示方式，便于灵活部署。该数据集适用于训练基于指令引导的图像编辑模型，用户可依据任务需求选择特定子集或全部样本进行训练，并参考配套的GitHub仓库获取完整的训练与评估代码。

背景与挑战

背景概述

GPT-Image-Edit-1.5M数据集由加州大学圣克鲁兹分校视觉与语言自主代理实验室（UCSC-VLAA）于2025年发布，主要研究人员包括王宇涵、杨思伟、赵炳晨等。该数据集聚焦于指令引导的图像编辑任务，旨在解决现有数据集规模有限、编辑质量参差不齐的瓶颈问题。通过整合HQ-Edit、UltraEdit、OmniEdit和Complex-Edit四大来源，并利用GPT-Image-1模型对超过150万张输出图像进行重新生成，数据集覆盖了添加、移除、风格迁移、属性修改等十余种编辑操作。其发布推动了多模态大模型在图像编辑领域的性能跃升，为指令微调提供了高质量训练资源，并在GEdit-EN-full、Complex-Edit等基准测试中展现了领先效果，对学术界与工业界产生了深远影响。

当前挑战

数据集面临的核心挑战包括：其一，指令指导的图像编辑任务本身具有高度复杂性，需同时理解自然语言语义与视觉内容，并在保持图像整体一致性的前提下实现局部或全局修改，这对模型的语义对齐与生成保真度提出了严苛要求；其二，构建过程中需处理多源异构数据的统一格式与质量控制，例如来自OmniEdit的130万样本需重新编辑并分类为原始、重写与复杂指令三种类型，而UltraEdit的9类任务需均匀采样以保证类别平衡；其三，依赖GPT-Image-1进行大规模图像生成时，需克服计算资源消耗与生成结果的可控性问题，确保编辑指令与输出图像的高度匹配，避免伪影与语义偏差。

常用场景

经典使用场景

GPT-Image-Edit-1.5M 数据集在指令引导的图像编辑领域具有里程碑意义。它汇聚了来自 HQ-Edit、UltraEdit、OmniEdit 和 Complex-Edit 四大高质量数据源的超过 150 万对编辑样本，并借助 GPT-Image-1 模型对所有输出图像进行了重绘与增强。该数据集覆盖了添加、移除、属性修改、风格迁移、背景替换、环境变换等十余种细粒度编辑任务，并提供了原始、重写与复杂三级指令难度分布。研究者可基于此数据集训练统一的图像编辑模型，实现从简单局部调整到复杂多步操作的广泛覆盖，是推动指令驱动图像编辑技术从单一任务走向多任务泛化的核心训练资源。

解决学术问题

该数据集直面当前图像编辑领域面临的训练数据规模不足、指令质量参差不齐与编辑任务覆盖狭窄等核心瓶颈。传统数据集多依赖人工标注或简单合成，难以支撑模型对复杂语义指令的理解与执行。GPT-Image-Edit-1.5M 通过大规模自动化生成与高质量筛选，为学界提供了首个百万级别的指令-编辑对齐样本库。其多层次指令复杂度设计（C3级别）有效缓解了模型在精细化操控与多步推理上的能力短板，显著提升了编辑模型在 GEdit-EN-full、Complex-Edit 和 ImgEdit-Full 等权威基准上的表现，为统一编辑框架的理论验证与性能突破奠定了坚实的数据基础。

实际应用

在实际应用中，GPT-Image-Edit-1.5M 为图像编辑产品的智能化升级提供了关键支撑。基于该数据集训练的模型可广泛应用于智能修图软件、广告创意设计、社交媒体内容创作、电商产品展示优化等场景。用户只需输入自然语言指令，即可完成对象移除、风格迁移、色彩调整、背景替换等操作，极大降低了专业图像编辑工具的使用门槛。此外，该数据集还赋能了交互式视频编辑、虚拟现实场景构建与数字人定制等前沿领域，使得非专业用户也能高效产出高质量视觉内容，推动了图像编辑技术从专业工具向普惠服务的范式迁移。

数据集最近研究

最新研究方向

当前，基于指令的图像编辑领域正经历从有限规模、人工标注数据集向百万级、大模型生成数据集的范式转变。UCSC-VLAA推出的GPT-Image-Edit-1.5M正是这一前沿方向的代表性成果，它巧妙整合了HQ-Edit、UltraEdit、OmniEdit等现有数据集，并利用GPT-Image-1模型对全部输出图像进行重生成，构建了超过150万对的高质量编辑样本。该数据集不仅覆盖了从基础物体增删、属性修改到复杂场景编辑的多样化任务，还通过原始、重写与复杂指令的三级设计，显著提升了指令的多样性与复杂度。这一工作有效缓解了真实标注数据稀缺、成本高昂的瓶颈，为训练更鲁棒、更通用的指令驱动图像编辑模型提供了坚实的数据基础，其开源发布有望加速该领域在AIGC应用中的落地与创新。