facebook/emu_edit_test_set_generations

--- configs: - config_name: default data_files: - split: validation path: data/validation-* - split: test path: data/test-* dataset_info: features: - name: instruction dtype: string - name: image dtype: image - name: task dtype: string - name: split dtype: string - name: idx dtype: int64 - name: hash dtype: string - name: input_caption dtype: string - name: output_caption dtype: string - name: edited_image dtype: image - name: model dtype: string splits: - name: validation num_bytes: 2739856920.3 num_examples: 3589 - name: test num_bytes: 1538831841.4 num_examples: 2022 download_size: 1424484094 dataset_size: 4278688761.7000003 --- # Dataset Card for the Emu Edit Generations on Emu Edit Test Set ## Table of Contents - [Table of Contents](#table-of-contents) - [Dataset Description](#dataset-description) - [Dataset Summary](#dataset-summary) - [Additional Information](#additional-information) - [Licensing Information](#licensing-information) - [Citation Information](#citation-information) ## Dataset Description - **Homepage: https://emu-edit.metademolab.com/** - **Paper: https://emu-edit.metademolab.com/assets/emu_edit.pdf** ### Dataset Summary This dataset contains Emu Edit's generations on the [Emu Edit test set](https://huggingface.co/datasets/facebook/emu_edit_test_set). For more information please read our [paper](https://emu-edit.metademolab.com/assets/emu_edit.pdf) or visit our [homepage](https://emu-edit.metademolab.com/). ### Licensing Information Licensed with CC-BY-NC 4.0 License available [here](https://creativecommons.org/licenses/by-nc/4.0/legalcode?fbclid=IwAR2SYZjLRywwUMblkWg0LyAxHVVTloIFlvC-ju3BthIYtOM2jpQHgbeXOsM). ### Citation Information ``` @inproceedings{Sheynin2023EmuEP, title={Emu Edit: Precise Image Editing via Recognition and Generation Tasks}, author={Shelly Sheynin and Adam Polyak and Uriel Singer and Yuval Kirstain and Amit Zohar and Oron Ashual and Devi Parikh and Yaniv Taigman}, year={2023}, url={https://api.semanticscholar.org/CorpusID:265221391} } ```This dataset contains Emu Edits generations on the Emu Edit test set, including features such as instruction, image, task type, split, index, hash, input caption, output caption, edited image, and model. The dataset is divided into validation and test sets with 3589 and 2022 samples respectively. The download size of the dataset is 1424484094 bytes, and the total size is 4278688761.7 bytes.

原始信息汇总

数据集卡片 for Emu Edit Generations on Emu Edit Test Set

数据集描述

数据集概要

该数据集包含Emu Edit在Emu Edit测试集上的生成结果。

数据集信息

• 配置名称: default

• 数据文件:

  • 验证集: data/validation-*
  • 测试集: data/test-*

• 特征:

  • instruction: 字符串
  • image: 图像
  • task: 字符串
  • split: 字符串
  • idx: 整数64位
  • hash: 字符串
  • input_caption: 字符串
  • output_caption: 字符串
  • edited_image: 图像
  • model: 字符串

• 分割:

  • 验证集:
    • 字节数: 2739856920.3
    • 样本数: 3589
  • 测试集:
    • 字节数: 1538831841.4
    • 样本数: 2022

• 下载大小: 1424484094

• 数据集大小: 4278688761.7000003

许可信息

采用CC-BY-NC 4.0许可，详情见此处。

引用信息

@inproceedings{Sheynin2023EmuEP, title={Emu Edit: Precise Image Editing via Recognition and Generation Tasks}, author={Shelly Sheynin and Adam Polyak and Uriel Singer and Yuval Kirstain and Amit Zohar and Oron Ashual and Devi Parikh and Yaniv Taigman}, year={2023}, url={https://api.semanticscholar.org/CorpusID:265221391} }

搜集汇总

数据集介绍

构建方式

在计算机视觉与图像生成领域，Emu Edit测试集生成数据集通过系统化流程构建而成。该数据集基于Emu Edit测试集，利用Emu Edit模型对测试样本进行图像编辑任务的生成处理。构建过程中，模型接收包含指令、原始图像及任务描述的输入，并输出编辑后的图像与对应描述，从而形成结构化的配对数据。数据涵盖验证集与测试集，确保样本的多样性与代表性，为评估图像编辑模型的性能提供了标准化基准。

特点

该数据集的核心特点在于其多模态与任务导向的设计。数据集整合了文本指令、原始图像、编辑后图像及描述性标注，覆盖多种图像编辑任务，如对象修改、风格转换等。每个样本均包含唯一标识符与哈希值，保障数据的可追溯性与完整性。数据规模适中，包含数千个样本，平衡了计算效率与评估需求，适用于对生成模型进行细粒度分析与比较研究。

使用方法

在图像生成与编辑的研究中，该数据集主要用于模型评估与基准测试。研究人员可加载数据集的验证集或测试集，通过对比模型生成的编辑图像与参考输出，量化模型在指令遵循、图像质量及任务准确性方面的表现。数据集支持直接读取图像与文本字段，便于集成到现有评估流程中，为改进生成模型提供实证依据，推动精准图像编辑技术的发展。

背景与挑战

背景概述

在视觉生成模型快速演进的背景下，Emu Edit测试集生成数据集应运而生，由Meta的Demolab团队于2023年构建。该数据集旨在评估Emu Edit模型在图像编辑任务中的性能，核心研究问题聚焦于如何通过结合识别与生成任务来实现精确的图像编辑。作为Emu Edit框架的重要组成部分，它不仅推动了可控图像生成领域的发展，也为多模态人工智能系统提供了关键的评估基准，对促进图像编辑技术的标准化与可复现性产生了深远影响。

当前挑战

该数据集致力于解决图像编辑领域的关键挑战，即如何在遵循复杂指令的同时，精准地修改图像内容并保持视觉一致性。构建过程中的主要挑战包括：确保生成图像与指令的高度对齐，避免无关修改；处理多样化编辑任务（如局部替换、全局风格转换）带来的数据标注复杂性；以及在大规模生成过程中维持图像质量的稳定性与评估的客观性。

常用场景

经典使用场景

在视觉语言模型与图像编辑领域，Emu Edit测试集生成数据集为评估多任务图像编辑模型的性能提供了标准化基准。该数据集通过整合指令、原始图像、编辑后图像及对应描述，构建了一个涵盖识别与生成任务的综合评估框架。研究者可借此系统性地分析模型在遵循复杂指令、保持图像一致性以及执行精确编辑方面的能力，从而推动视觉内容生成技术的迭代与优化。

解决学术问题

该数据集有效应对了图像编辑研究中指令遵循精度不足与任务泛化能力有限的学术挑战。通过提供结构化的多任务测试样本，它支持对模型在局部编辑、全局风格迁移及内容添加等复杂场景下的性能进行量化评估。这有助于揭示生成模型在语义理解与视觉保真度之间的权衡机制，为设计更可控、更可靠的编辑算法奠定了实证基础。

衍生相关工作

围绕该数据集，学术界衍生了一系列聚焦于指令驱动图像编辑的经典研究工作。这些工作深入探索了多模态对齐、细粒度控制以及跨任务泛化等核心问题，并提出了如分层编辑网络、语义感知损失函数等创新方法。相关成果进一步丰富了视觉语言模型的评估体系，推动了图像生成领域从单一任务向复杂交互场景的范式演进。