EmoEditSet

EmoEditSet是一个大规模的情感图像处理数据集，包含40,120对数据。该数据集通过情感归因和数据构建过程创建，旨在通过内容修改增强情感影响。

EmoEditSet is a large-scale affective image processing dataset containing 40,120 pairs of data samples. It was constructed through emotion attribution and data construction processes, with the goal of enhancing emotional impact via content modification.

原始信息汇总

EmoEdit 数据集概述

数据集名称

EmoEdit

数据集简介

EmoEdit 是一个用于情感图像操纵的大规模数据集，旨在通过图像修改来唤起特定的情感反应。该数据集通过结合内容修改来增强情感影响，不仅调整颜色和风格，还通过情感归因和数据处理构建了 40,120 对高质量、语义多样的成对数据。

数据集构成

• EmoEditSet：包含 40,120 对经过情感归因和数据处理的高质量图像数据。
• EmoAdapter：一种训练模型，用于使现有生成模型具备情感识别能力。

数据集来源

• EmoSet：用于构建情感因子树。
• MagicBrush、MA5K、Unsplash：作为原始图像数据来源。

数据集构建

• 情感因子树：基于 EmoSet 数据集，通过 emotion_attribution.py 对不同情感类别的图像进行分类，并使用 Summary.py 提取每个类别中的共同特征。
• 数据构建：从 MagicBrush、MA5K 和 Unsplash 收集数据，计算每张图像的情感分数，并根据分数进行分类和保存。使用 generate_image_LargeScale.py 脚本生成新图像，并通过 split_image_threshold_aes_txt.py 脚本进行筛选。

数据集下载

• EmoEditSet：可以直接下载（推荐，但未上传）或自行构建。
• EmoAdapter checkpoint、EmoEdit-inference-set：可在 Dropbox 下载。

引用信息

@article{yang2024emoedit, title={EmoEdit: Evoking Emotions through Image Manipulation}, author={Yang, Jingyuan and Feng, Jiawei and Luo, Weibin and Lischinski, Dani and Cohen-Or, Daniel and Huang, Hui}, journal={arXiv preprint arXiv:2405.12661}, year={2024} }

搜集汇总

数据集介绍

构建方式

EmoEditSet数据集的构建采用了一种基于情感归因和大规模数据构造的方法。首先，通过EmoSet数据集对图像进行情感分类，并使用情感因子树对各类情感进行表征。接着，从多个来源收集图像数据，包括MagicBrush、MA5K和Unsplash等，计算每张图像的情感分数并进行分类。最后，通过生成和过滤过程，创建出具有高质量和语义多样性的图像对，形成最终的EmoEditSet数据集。

特点

该数据集的特点在于其创新地结合了情感归因和内容修改，以增强情感影响。它包含了40,120对通过精心设计的情感因子树和复杂的数据构造过程生成的图像对，这些图像对在情感表达和结构完整性上具有高度的一致性。此外，数据集还展现了良好的泛化能力，能够使现有的生成模型具备情感感知能力。

使用方法

使用EmoEditSet数据集时，用户首先需要下载并放置EmoAdapter检查点文件。接着，修改模型位置并在test.py文件中调整相关设置。通过运行EmoEdit提供的脚本，用户可以训练情感适配器，对图像进行编辑以唤起特定的情感反应。此外，用户还可以根据需要调整指导尺度，以实现不同的编辑效果。

背景与挑战

背景概述

EmoEditSet数据集是在图像情感操纵领域的一个重要成果，由杨静远、冯家伟、罗伟宾等研究人员于2024年提出。该数据集隶属于深圳大学、耶路撒冷希伯来大学和特拉维夫大学的研究项目，旨在通过图像内容修改来增强情感影响，进而推动情感图像操纵（AIM）技术的发展。EmoEditSet包含40,120对通过情感归因和数据构建产生的配对数据，是现有AIM方法中首个结合内容修改以提升情感效果的尝试。该数据集不仅为现有的生成模型引入了情感适配器（Emotion adapter）的概念，而且通过训练该适配器，实现了更精准和深刻的情感唤起。

当前挑战

在构建EmoEditSet的过程中，研究人员面临了诸多挑战。首先，如何精准地调整图像内容以唤起特定情感，同时保持图像原有构成，是一大难题。其次，构建过程中，数据集的构建质量、情感因子的归类以及大规模图像数据的处理与筛选，都对计算资源和处理技术提出了较高要求。此外，在所解决的领域问题中，如何通过图像操纵有效唤起特定情感，同时保持图像的语义完整性和结构完整性，也是该方法需要克服的技术挑战。

常用场景

经典使用场景

EmoEditSet数据集的核心应用场景在于图像情感操纵，即通过修改用户提供的图像以唤起特定的情感反应。此类任务在保持原图构图的同时，需要显著唤起预期的情感，具有双重目标的复杂性。该数据集为此目的提供了大量经过情感归因和构建的数据对，成为研究者在AIM领域进行深度探索的宝贵资源。

实际应用

在实际应用中，EmoEditSet数据集可用于训练情感识别系统，改善图像编辑软件的情感调整功能，甚至应用于虚拟现实和增强现实中，通过图像的情感操纵提升用户体验。

衍生相关工作

基于EmoEditSet数据集，研究者们已经开展了一系列相关工作，如设计了Emotion适配器，并提出了指令损失来捕捉数据对中的语义变化。此外，该数据集的便携性使其能够被应用于其他扩散模型，增强了这些模型在情感知识方面的多样性。