EmoEditSet|情感图像处理数据集|图像内容修改数据集

EmoEditSet是一个大规模的情感图像处理数据集，包含40,120对数据。该数据集通过情感归因和数据构建过程创建，旨在通过内容修改增强情感影响。

原始信息汇总

EmoEdit 数据集概述

数据集名称

EmoEdit

数据集简介

EmoEdit 是一个用于情感图像操纵的大规模数据集，旨在通过图像修改来唤起特定的情感反应。该数据集通过结合内容修改来增强情感影响，不仅调整颜色和风格，还通过情感归因和数据处理构建了 40,120 对高质量、语义多样的成对数据。

数据集构成

• EmoEditSet：包含 40,120 对经过情感归因和数据处理的高质量图像数据。
• EmoAdapter：一种训练模型，用于使现有生成模型具备情感识别能力。

数据集来源

• EmoSet：用于构建情感因子树。
• MagicBrush、MA5K、Unsplash：作为原始图像数据来源。

数据集构建

• 情感因子树：基于 EmoSet 数据集，通过 emotion_attribution.py 对不同情感类别的图像进行分类，并使用 Summary.py 提取每个类别中的共同特征。
• 数据构建：从 MagicBrush、MA5K 和 Unsplash 收集数据，计算每张图像的情感分数，并根据分数进行分类和保存。使用 generate_image_LargeScale.py 脚本生成新图像，并通过 split_image_threshold_aes_txt.py 脚本进行筛选。

数据集下载

• EmoEditSet：可以直接下载（推荐，但未上传）或自行构建。
• EmoAdapter checkpoint、EmoEdit-inference-set：可在 Dropbox 下载。

引用信息

@article{yang2024emoedit, title={EmoEdit: Evoking Emotions through Image Manipulation}, author={Yang, Jingyuan and Feng, Jiawei and Luo, Weibin and Lischinski, Dani and Cohen-Or, Daniel and Huang, Hui}, journal={arXiv preprint arXiv:2405.12661}, year={2024} }

AI搜集汇总

数据集介绍

构建方式

EmoEditSet数据集的构建采用了一种基于情感归因和大规模数据构造的方法。首先，通过EmoSet数据集对图像进行情感分类，并使用情感因子树对各类情感进行表征。接着，从多个来源收集图像数据，包括MagicBrush、MA5K和Unsplash等，计算每张图像的情感分数并进行分类。最后，通过生成和过滤过程，创建出具有高质量和语义多样性的图像对，形成最终的EmoEditSet数据集。

特点

该数据集的特点在于其创新地结合了情感归因和内容修改，以增强情感影响。它包含了40,120对通过精心设计的情感因子树和复杂的数据构造过程生成的图像对，这些图像对在情感表达和结构完整性上具有高度的一致性。此外，数据集还展现了良好的泛化能力，能够使现有的生成模型具备情感感知能力。

使用方法

使用EmoEditSet数据集时，用户首先需要下载并放置EmoAdapter检查点文件。接着，修改模型位置并在test.py文件中调整相关设置。通过运行EmoEdit提供的脚本，用户可以训练情感适配器，对图像进行编辑以唤起特定的情感反应。此外，用户还可以根据需要调整指导尺度，以实现不同的编辑效果。

背景与挑战

背景概述

EmoEditSet数据集是在图像情感操纵领域的一个重要成果，由杨静远、冯家伟、罗伟宾等研究人员于2024年提出。该数据集隶属于深圳大学、耶路撒冷希伯来大学和特拉维夫大学的研究项目，旨在通过图像内容修改来增强情感影响，进而推动情感图像操纵（AIM）技术的发展。EmoEditSet包含40,120对通过情感归因和数据构建产生的配对数据，是现有AIM方法中首个结合内容修改以提升情感效果的尝试。该数据集不仅为现有的生成模型引入了情感适配器（Emotion adapter）的概念，而且通过训练该适配器，实现了更精准和深刻的情感唤起。

当前挑战

在构建EmoEditSet的过程中，研究人员面临了诸多挑战。首先，如何精准地调整图像内容以唤起特定情感，同时保持图像原有构成，是一大难题。其次，构建过程中，数据集的构建质量、情感因子的归类以及大规模图像数据的处理与筛选，都对计算资源和处理技术提出了较高要求。此外，在所解决的领域问题中，如何通过图像操纵有效唤起特定情感，同时保持图像的语义完整性和结构完整性，也是该方法需要克服的技术挑战。

常用场景

经典使用场景

EmoEditSet数据集的核心应用场景在于图像情感操纵，即通过修改用户提供的图像以唤起特定的情感反应。此类任务在保持原图构图的同时，需要显著唤起预期的情感，具有双重目标的复杂性。该数据集为此目的提供了大量经过情感归因和构建的数据对，成为研究者在AIM领域进行深度探索的宝贵资源。

实际应用

在实际应用中，EmoEditSet数据集可用于训练情感识别系统，改善图像编辑软件的情感调整功能，甚至应用于虚拟现实和增强现实中，通过图像的情感操纵提升用户体验。

衍生相关工作

基于EmoEditSet数据集，研究者们已经开展了一系列相关工作，如设计了Emotion适配器，并提出了指令损失来捕捉数据对中的语义变化。此外，该数据集的便携性使其能够被应用于其他扩散模型，增强了这些模型在情感知识方面的多样性。