EditBench

EditBench是一个全面的图像编辑数据集，包含约40,000张图像，分辨率为1024x1024、768x1360和1360x768，涵盖17种不同的编辑类型。每种编辑类型都有详细的注释，包括原始提示、编辑指令、编辑后的提示、编辑主体、掩码图像和评估分数。数据集的结构包括图像文件夹、掩码文件夹和元数据JSON文件。使用该数据集的步骤包括下载数据集和解压缩图像和掩码文件。

EditBench is a comprehensive image editing dataset containing approximately 40,000 images with three resolutions: 1024x1024, 768x1360 and 1360x768, covering 17 distinct editing types. Each editing type is accompanied by detailed annotations including original prompts, editing instructions, edited prompts, editing subjects, mask images and evaluation scores. The dataset is structured with image folders, mask folders and a metadata JSON file. The steps for using this dataset include downloading the dataset and decompressing the image and mask files.

原始信息汇总

EditBench: A Comprehensive Image Editing Dataset

Introduction

EditBench is a comprehensive image editing dataset designed to facilitate research and development in the field of image editing. It provides a diverse set of images, editing types, and annotations to enable systematic evaluation of image editing models.

Dataset Overview

• Total Images: About 40k images
• Resolutions: 1024x1024 (1:1), 768x1360 (9:16), 1360x768 (16:9)
• Editing Types: 17 distinct categories
• Annotations: Original prompts, editing instructions, edited prompts, edit subjects, mask images, and evaluation scores

Dataset Structure

root/ ├── 768_1360/ │ ├── images/ │ │ ├── 1_change_object/ │ │ ├── ... │ ├── masks/ │ │ ├── 1_change_object/ │ │ ├── ... ├── meta_json/ │ ├── 1_change_object.json │ ├── ...

• images/: Contains the original and edited images categorized by editing types.
• masks/: Contains the corresponding mask images for each edit.
• meta_json/: Contains JSON files with metadata for each editing type.

Editing Types

Each of the 17 editing types:

Edit Type	1360×768	768×1360	1024×1024
1_change_object	1,957	1,983	2,067
2_add_object	1,403	1,431	1,472
3_delete_object	1,006	1,032	1,071
4_change_spatial	438	482	501
5_change_attribute_color	588	623	689
6_change_texture	745	812	823
7_change_background	944	937	1,019
8_change_emotion	64	64	70
9_change_complex_action	610	626	623
10_change_simple_action	784	810	804
11_change_shape	560	684	673
12_change_size	128	146	156
13_change_gender	196	198	201
14_creativity_prompts	172	185	138
15_change_context	821	845	855
16_change_weather	898	901	924
17_change_style	1,109	1,153	1,190

Total Images per Resolution:

• 1360×768: 12,423 images
• 768×1360: 12,912 images
• 1024×1024: 13,276 images

Annotations and Metadata

The structure and content of the JSON files:

• Fields:
  • original_prompt: Description of the original image.
  • editing_instruction: Instructions for the desired edit.
  • edited_prompt: Expected outcome after editing.
  • edit_subject: Main subjects or elements to be edited.
  • image_path: Path to the image file.
  • mask_image: Path to the mask image.

Example: json { "17": { "original_prompt": "A herd of white sheep are grazing in a green meadow on a sunny day.", "editing_instruction": "Convert sheep to cows, grass to wheat field.", "edited_prompt": "A herd of white cows are grazing in a green wheat field on a sunny day.", "edit_subject": "sheep, grass", "image_path": "EditBench/768_1360/images/1_change_object/17.png", "mask_image": "EditBench/768_1360/masks/1_change_object/17.jpg", } }

Usage Instructions

1. Downloading the Dataset: bash git lfs install git clone https://huggingface.co/datasets/LonelVino/EditBench cd EditBench

2. Setting Up: Extracting all images and masks: bash

   unzip 1360 x 768 images

   python3 unzip_files_1360.py

   unzip 1024 x 1024 images

   python3 unzip_files_1024.py

   unzip 768 x 1360 images

   python3 unzip_files_768.py

Evaluation Metrics

TODO: Add scripts for calculating evaluation metrics.

Examples

TODO: Add an example for each editing type.

License and Citation

bibtex @article{lin2024schedule, title={Schedule your edit: A simple yet effective diffusion noise schedule for image editing}, author={Lin, Haonan and Wang, Mengmeng and Wang, Jiahao and An, Wenbin and Chen, Yan and Liu, Yong and Tian, Feng and Dai, Guang and Wang, Jingdong and Wang, Qianying}, journal={arXiv preprint arXiv:2410.18756}, year={2024} }

Contact Information

• Email Address: [e-mail]
• Project Website: https://lonelvino.github.io/SYE/#/

搜集汇总

数据集介绍

构建方式

EditBench数据集的构建过程体现了图像编辑领域的前沿研究需求。该数据集通过系统化的图像采集与编辑操作，涵盖了17种不同的编辑类型，包括对象替换、属性修改、背景变换等。每张图像均以高分辨率呈现，分别为1024x1024、768x1360和1360x768，确保数据多样性。此外，数据集还提供了详细的元数据，包括原始提示、编辑指令、编辑后提示以及掩码图像，为研究提供了丰富的上下文信息。

使用方法

使用EditBench数据集时，用户首先需要通过Git LFS工具下载数据集，并解压不同分辨率的图像和掩码文件。数据集的结构清晰，图像和掩码分别存储于特定目录下，便于快速访问。用户可以根据元数据中的编辑指令和提示，进行模型训练或评估。数据集还提供了详细的JSON文件，包含每张图像的编辑信息，便于进一步分析与处理。通过这种方式，用户可以高效地利用EditBench数据集进行图像编辑相关的研究与开发。

背景与挑战

背景概述

EditBench数据集于2024年由Haonan Lin等研究人员提出，旨在推动图像编辑领域的研究与发展。该数据集包含约40,000张图像，涵盖了17种不同的编辑类型，如对象替换、背景更改、纹理调整等。图像分辨率包括1024x1024、768x1360和1360x768，以满足不同应用场景的需求。EditBench的构建基于扩散模型噪声调度的研究，相关成果发表于arXiv预印本平台。该数据集通过提供丰富的图像、编辑指令和元数据，为图像编辑模型的系统评估提供了重要支持，推动了生成式图像编辑技术的进步。

当前挑战

EditBench数据集在解决图像编辑领域的挑战中面临多重困难。首先，图像编辑任务本身具有高度复杂性，尤其是在多对象、多属性同时编辑的场景下，模型需要精确理解并执行复杂的编辑指令。其次，数据集的构建过程中，如何确保编辑指令的多样性与一致性，以及如何生成高质量的编辑结果，都是技术上的难点。此外，数据集的规模与多样性要求大量的人工标注与验证，这对资源与时间提出了较高要求。最后，如何设计有效的评估指标以全面衡量编辑模型的性能，也是该领域亟待解决的问题。

常用场景

经典使用场景

EditBench数据集在图像编辑领域的研究中扮演着重要角色，尤其是在生成模型和图像处理算法的开发与评估中。该数据集通过提供多样化的图像和编辑类型，使得研究人员能够系统地测试和优化图像编辑模型。其经典使用场景包括图像生成、对象替换、背景修改等任务，为模型在不同编辑任务中的表现提供了全面的评估基准。

解决学术问题

EditBench数据集解决了图像编辑领域中模型评估标准不统一的问题。通过提供丰富的编辑类型和详细的注释，研究人员能够更准确地评估模型在复杂编辑任务中的表现。该数据集的出现填补了图像编辑研究中的空白，推动了生成模型在图像编辑中的应用，为学术界提供了可靠的实验数据支持。

实际应用

在实际应用中，EditBench数据集被广泛用于图像编辑软件的开发和优化。例如，在广告设计、影视后期制作和社交媒体内容生成中，该数据集帮助开发者训练出更智能的图像编辑工具，能够自动完成复杂的编辑任务，如对象替换、背景修改和风格转换。这些应用显著提高了图像编辑的效率和质量。

数据集最近研究

最新研究方向

在图像生成与编辑领域，EditBench数据集的推出为研究者提供了一个全面且多样化的图像编辑基准。该数据集涵盖了17种不同的编辑类型，包括对象替换、背景修改、情感调整等，旨在系统评估图像编辑模型的性能。近期研究聚焦于如何通过扩散模型的噪声调度策略提升图像编辑的精确性与自然度，相关成果已在《Schedule Your Edit: A Simple yet Effective Diffusion Noise Schedule for Image Editing》一文中得到展示。这一研究方向不仅推动了图像生成技术的进步，也为实际应用中的图像处理任务提供了新的解决方案，具有重要的学术与工业价值。