REALEDIT

REALEDIT是一个大规模的文本引导图像编辑数据集，由Reddit上的真实用户提交和完成的编辑请求精心编译而成。该数据集包含48K训练数据和9K测试数据，每个数据点包括原始图像、编辑指导和一个人到五个人工编辑的输出图像。REALEDIT是首个大规模图像编辑数据集，其中的真实世界用户既提交也完成请求。数据集的创建流程包括从相关子版块收集原始数据和注释，处理和整理数据，以及进行人工验证以确保数据质量。REALEDIT is a large-scale text-guided image editing dataset meticulously compiled from real user-submitted and completed editing requests on Reddit. This dataset contains 48k training samples and 9k test samples, with each data point consisting of the original image, editing instruction, and 1 to 5 manually edited output images. REALEDIT is the first large-scale image editing dataset where real-world users both submit and fulfill editing requests. The dataset creation workflow includes collecting raw data and annotations from relevant subreddits, processing and curating the data, and conducting manual validation to ensure data quality.

搜集汇总

数据集介绍

构建方式

REALEDIT数据集的构建始于从Reddit的两个子版块r/PhotoshopRequest和r/estoration收集原始的帖子及其评论数据。这些子版块涵盖了从物体移除、背景更改到创意编辑等多样化的图像编辑任务。数据收集后，经过一系列的预处理步骤，包括使用GPT-4o对用户提供的编辑指令进行总结，以提取关键的编辑要求。同时，为了支持基于描述的评价指标，还使用视觉语言模型为输入和编辑后的图像生成了描述。为了确保数据质量，数据集经过了多阶段的人工验证，包括对图像内容的适当性、指令的适用性以及输出图像的正确性的评估。

特点

REALEDIT数据集的特点在于它包含了真实用户提交的编辑请求和人类完成的编辑。这使得数据集能够更真实地反映现实世界中图像编辑的需求分布。与现有的合成数据集相比，REALEDIT在编辑操作上更多地涉及到移除和增强，而不是添加，这与现实世界中照片通常包含所需对象的情况相符。此外，REALEDIT的测试集显示了与现有评估数据集相比，真实世界请求的显著差异，突出了现有模型在处理实际用户需求方面的不足。

使用方法

REALEDIT数据集的使用方法包括训练和评估图像编辑模型。研究人员可以在这57K个编辑示例上微调现有的文本引导图像编辑模型，如InstructPix2Pix。通过将训练数据与InstructPix2Pix的预训练数据分布相匹配，并使用OpenAI的Consistency Decoder来增强推理时的图像质量，研究人员可以构建出在REALEDIT测试集上表现出色的模型。此外，REALEDIT数据集还可以用于评估现有模型在真实世界任务中的性能，并通过Elo评分和人类评估来衡量模型的优劣。

背景与挑战

背景概述

REALEDIT 数据集由华盛顿大学的研究团队于 2025 年创建，旨在解决现有图像编辑模型难以满足现实世界需求的挑战。该数据集从 Reddit 社区收集了真实用户的编辑请求和人工编辑的图像，包括来自 r/PhotoshopRequest 和 r/estoration 子版块的 57K 个编辑示例。REALEDIT 的创建填补了现有数据集在真实世界图像编辑任务多样性方面的空白，并为评估模型在现实世界编辑请求上的性能提供了 9.3K 个测试示例。REALEDIT 对相关领域的影响体现在其能够推动图像编辑模型的实用性和性能，并展示了数据集在深度伪造检测等更广泛应用中的潜力。

当前挑战

REALEDIT 数据集面临的主要挑战包括：1) 现有模型在解决真实世界图像编辑任务时存在局限性，无法有效地处理真实用户的多样化需求；2) 构建数据集过程中需要解决数据收集、清洗、标注和验证等复杂问题，以确保数据质量；3) 数据集的规模和多样性对于训练能够处理现实世界任务的模型至关重要，而现有数据集往往缺乏这些特性；4) 评估图像编辑模型的性能需要更加精确和全面的方法，以反映模型在完成真实世界任务方面的能力。

常用场景

经典使用场景

REALEDIT数据集主要用于训练和评估图像编辑模型，使其能够更好地理解和执行真实用户提出的图像编辑请求。数据集中的编辑指令和编辑结果均由真实用户生成，这使得模型能够学习到更符合实际需求的编辑技能，从而提高图像编辑任务的准确性和实用性。此外，REALEDIT数据集还用于研究图像编辑模型的性能瓶颈，并探索改进图像编辑模型的方法。例如，研究者在REALEDIT数据集上训练了一个名为RealEdit的图像编辑模型，该模型在REALEDIT测试集上的性能显著优于现有的图像编辑模型。

解决学术问题

REALEDIT数据集解决了现有图像编辑模型难以满足实际用户需求的问题。现有的图像编辑模型大多使用合成数据进行训练，缺乏真实用户请求和人类编辑的多样性，导致模型在实际应用中表现不佳。REALEDIT数据集通过收集Reddit上真实用户的编辑请求和人类编辑结果，为图像编辑模型提供了更真实、更具代表性的训练数据，从而提高了模型在实际应用中的性能。此外，REALEDIT数据集还揭示了现有图像编辑模型在处理真实用户请求时的性能瓶颈，为改进图像编辑模型提供了重要的参考。

衍生相关工作

REALEDIT数据集的发布促进了许多相关研究的发展。例如，研究者们在REALEDIT数据集上训练了RealEdit模型，该模型在REALEDIT测试集上的性能显著优于现有的图像编辑模型。此外，REALEDIT数据集还用于改进深度伪造检测模型，提高模型对人类编辑图像的识别能力。此外，REALEDIT数据集还为其他图像处理任务的研究提供了有价值的参考。