facebook/emu_edit_test_set

该数据集是一个图像编辑基准，定义了七种不同的图像编辑操作类别：背景更改、全局图像更改、样式更改、对象移除、对象添加、局部修改和颜色/纹理更改。它利用MagicBrush基准的多样化输入图像，并为每种编辑操作让众包工作者设计相关、有创意且具有挑战性的指令。此外，通过后验证阶段，众包工作者过滤掉无关指令的示例，以提高收集示例的质量。为了支持需要输入和输出标题的方法的评估，还为每个示例收集了输入标题和输出标题，确保标题捕捉到图像中的重要元素以及根据指令应更改的元素。

原始信息汇总

数据集卡片 - Emu Edit 测试集

数据集描述

数据集概述

为了创建一个图像编辑的基准，我们首先定义了七种不同类别的潜在图像编辑操作：背景改变（background）、全面图像变化（global）、风格改变（style）、对象移除（remove）、对象添加（add）、局部修改（local）和颜色/纹理改变（texture）。然后，我们利用MagicBrush 基准中的多样化输入图像，并为每个编辑操作，我们要求众包工作者设计相关、创造性和具有挑战性的指令。此外，为了提高收集示例的质量，我们应用了一个后验证阶段，其中众包工作者筛选出具有无关指令的示例。最后，为了支持需要输入和输出标题的方法（例如 prompt2prompt 和 pnp）的评估，我们还为每个示例收集了输入标题和输出标题。在这样做时，我们要求注释者确保标题捕捉图像中的重要元素，以及应根据指令改变的元素。此外，为了与 Emu Edit 进行适当比较，我们公开发布了测试集上的模型生成结果在此。更多详情请参见我们的论文和项目页面。

许可信息

采用 CC-BY-NC 4.0 许可，详情见此处。

引用信息

@inproceedings{Sheynin2023EmuEP, title={Emu Edit: Precise Image Editing via Recognition and Generation Tasks}, author={Shelly Sheynin and Adam Polyak and Uriel Singer and Yuval Kirstain and Amit Zohar and Oron Ashual and Devi Parikh and Yaniv Taigman}, year={2023}, url={https://api.semanticscholar.org/CorpusID:265221391} }

搜集汇总

数据集介绍

构建方式

针对图像编辑领域的评估需求，本数据集通过定义七类潜在的图像编辑操作，利用MagicBrush基准测试中的多样化输入图像，由众包工作者设计相关、创新且具有挑战性的指令，并通过后期验证阶段筛选出无关指令的示例，以提高数据集质量。同时，为支持需要输入输出标题的评估方法，数据集额外收集了每例的输入和输出标题，确保标题能够捕捉图像中的重要元素及其基于指令应发生的变化。

特点

本数据集以其独特的图像编辑操作分类和高质量的众包指令而著称，不仅提供了丰富的图像编辑示例，还包含了相应的输入输出标题，支持对图像编辑方法的精确评估。数据集遵循CC-BY-NC 4.0许可，确保了数据的合法使用与共享。

使用方法

用户可以通过访问数据集的官方网站和论文，了解详细的构建背景和使用方法。数据集分为验证集和测试集，可通过HuggingFace平台提供的路径直接下载使用。为便于与Emu Edit模型生成结果进行对比，还公开了测试集的模型生成数据。

背景与挑战

背景概述

在计算机视觉与自然语言处理领域，图像编辑任务是一项重要的研究课题。Facebook的Emu Edit Test Set数据集，创建于2023年，由Shelly Sheynin等人主导，旨在为图像编辑领域提供一个高质量的评估基准。该数据集从MagicBrush benchmark中选取多样化的输入图像，并针对七种不同的图像编辑操作收集了相关的指令。数据集的构建不仅关注编辑操作的多样性，还通过后验验证环节确保了指令的相关性和创造性。Emu Edit Test Set的发布，为图像编辑算法的研究和评估提供了有力的支持，对相关领域产生了显著影响。

当前挑战

Emu Edit Test Set数据集在构建过程中面临的挑战主要包括：如何确保收集到的编辑指令既具有相关性又具备创造性；如何通过后验验证环节有效筛选出高质量的示例；以及如何支持输入和输出标题的收集，以适应不同的评估方法。此外，数据集在解决图像编辑领域的领域问题时，还必须面对如何准确理解并执行复杂的图像编辑指令，以及如何生成符合指令要求的图像输出等挑战。

常用场景

经典使用场景

在计算机视觉与自然语言处理领域，facebook/emu_edit_test_set数据集的典型应用场景在于图像编辑任务的评估与优化。该数据集通过提供带有特定编辑指令的图像，以及相应的输入输出描述，使得研究者能够训练并测试模型对于图像编辑指令的理解与执行能力。

解决学术问题

该数据集解决了图像编辑领域中，如何准确理解和执行人类给出的编辑指令这一学术难题。它不仅提供了丰富的图像编辑实例，还通过输入输出描述的方式，为研究提供了对模型性能进行细致评价的可能性，从而推动了图像编辑技术的进步。

衍生相关工作

基于该数据集，研究者们已经开展了一系列相关工作，包括但不限于对编辑指令的理解与生成、图像编辑算法的优化、以及跨模态学习的探索。这些研究不仅推动了图像编辑技术的商业化应用，也为相关领域的学术研究提供了新的视角和方法论。