AID-AppEAL

AID-AppEAL数据集由加利福尼亚大学圣塔芭芭拉分校和Cloudinary联合创建，专注于图像内容吸引力的评估与增强。该数据集包含超过70,000张图像，涵盖食品和室内设计等多个领域，旨在训练和验证内容吸引力评估算法。数据集的创建过程采用了自动化方法，通过图像处理和文本分析技术生成，避免了传统手动标注的高成本和时间消耗。该数据集主要应用于提升图像在食品服务、在线零售和度假租赁等行业的吸引力，解决图像内容吸引力评估的难题。

The AID-AppEAL dataset was jointly created by the University of California, Santa Barbara and Cloudinary, focusing on the assessment and enhancement of image content appeal. Comprising over 70,000 images spanning multiple domains such as food and interior design, this dataset is designed to train and validate content appeal assessment algorithms. Developed using automated methods generated via image processing and text analysis technologies, it eliminates the high costs and time consumption associated with traditional manual annotation. The dataset is primarily applied to enhance the appeal of images in industries including food service, online retail, and vacation rentals, addressing the challenges of image content appeal assessment.

原始信息汇总

AID-AppEAL 数据集概述

数据集

AID-AppEAL 系统包含多个数据集，用于内容吸引力评估和增强。数据集存储在 datasets/ 目录下，用户需要从指定链接下载数据集文件（如 datasets/<dataset_name>.zip），并将其解压到数据集根目录中。

训练

相对内容吸引力评分比较器

训练相对内容吸引力评分比较器使用以下命令： bash bash scripts/1_relative_appeal_score_comparison.sh <dataset_name>

例如： bash bash scripts/1_relative_appeal_score_comparison.sh food bash scripts/1_relative_appeal_score_comparison.sh room

提供的检查点文件存储在 ckpts/pair_with_clip_<dataset_name>/last-v1.zip 路径下。

绝对内容吸引力评分预测器

训练绝对内容吸引力评分预测器使用以下命令： bash bash scripts/2_appeal_score_prediction.sh <dataset_name>

提供的检查点文件存储在 ckpts/singular_with_clip_<dataset_name>/last-v1.zip 路径下。

推理

内容吸引力评估和热图生成

仅评估内容吸引力评分： bash python appeal_heatmap_generation.py --name singular_with_clip_<dataset_name> --input_dir <path_to_input_images>

评估内容吸引力评分并生成热图： bash python appeal_heatmap_generation.py --name singular_with_clip_<dataset_name> --input_dir <path_to_input_images> --get_appeal_heatmap

结果默认保存在 outputs 目录下。

内容吸引力增强

使用 Automatic1111 的 Stable Diffusion web UI 进行内容吸引力增强，具体步骤包括使用热图作为修复掩码。

参考文献

bibtex @misc{chen2024aidappealautomaticimagedataset, title={AID-AppEAL: Automatic Image Dataset and Algorithm for Content Appeal Enhancement and Assessment Labeling}, author={Sherry X. Chen and Yaron Vaxman and Elad Ben Baruch and David Asulin and Aviad Moreshet and Misha Sra and Pradeep Sen}, year={2024}, eprint={2407.05546}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2407.05546}, }

搜集汇总

数据集介绍

构建方式

AID-AppEAL数据集的构建方式独特而高效。研究者首先从专业图库中收集了大量高质量的专业图像，然后利用文本描述和图像分割技术创建领域相关性地图，以筛选出与特定领域相关的图像。为了解决搜索结果与查询之间可能存在的偏差，特别是对于负面内容的搜索结果，研究者在选择图片时只保留了与搜索结果最匹配的图片。为了进一步确保数据集的相关性和质量，研究者对图像进行了两阶段的筛选过程。首先，使用BLIP模型生成图像的文本描述，并丢弃描述中不包含与特定领域相关词汇的图像。其次，通过生成领域相关性地图来识别和测量图像中与领域相关的对象的程度，并删除那些领域相关对象占据空间不足的图像。为了克服现有数据集中缺乏对内容吸引力细微变化的捕捉，研究者利用生成模型（如Stable Diffusion）创建了一系列具有不同内容吸引力水平的合成图像。最后，通过训练一个相对内容吸引力比较器来自动标注大量真实图像，从而完成了最终数据集的构建。

特点

AID-AppEAL数据集具有几个显著的特点。首先，它是第一个专注于内容吸引力评估（ICAA）的数据集，与传统的图像美学评估（IAA）不同，ICAA关注的是图像内容对观众产生的积极兴趣。其次，AID-AppEAL数据集包含超过70,000张图像，涵盖了食品和室内设计等多个领域，为训练内容吸引力评估和增强模型提供了丰富的数据基础。此外，AID-AppEAL数据集的构建过程完全自动化，无需手动标注，大大提高了数据集创建的效率和规模。最后，用户研究表明，AID-AppEAL数据集的内容吸引力评分与用户偏好高度相关，证明了该数据集在准确捕捉和增强图像内容吸引力方面的有效性。

使用方法

AID-AppEAL数据集的使用方法主要包括两个方面：内容吸引力评估和内容吸引力增强。内容吸引力评估方面，研究者首先训练了一个相对内容吸引力比较器，该比较器能够评估两个图像之间的吸引力差异。然后，利用一个包含多个样本的合成数据集，研究者训练了一个绝对内容吸引力评估器，该评估器能够评估单个图像的绝对吸引力。内容吸引力增强方面，研究者利用绝对内容吸引力评估器生成的吸引力热图来控制图像中需要增强的区域和程度。通过使用生成模型（如Stable Diffusion）进行图像编辑，研究者能够有效地提高图像内容吸引力，同时保持图像的视觉完整性。最后，用户研究表明，AID-AppEAL数据集的吸引力增强方法在提高图像内容吸引力方面非常有效，并且得到了用户的高度认可。

背景与挑战

背景概述

在计算机视觉领域，图像质量的准确度量一直是研究的重点。传统的图像质量评估（IQA）和图像美学评估（IAA）算法分别关注图像的感知影响和艺术质量。然而，这些评估往往忽略了图像内容的吸引力，即图像内容对观者的积极兴趣程度。为了解决这个问题，Sherry X. Chen等人于2024年提出了图像内容吸引力评估（ICAA）这一新指标，并创建了AID-AppEAL数据集，旨在量化图像内容的吸引力。该数据集由两个大规模数据集组成，包含超过70,000张图像，分别涵盖了食品和室内设计领域。AID-AppEAL的提出为相关领域的研究提供了重要的数据支持，有助于开发更精确的图像内容吸引力评估和增强算法。

当前挑战

AID-AppEAL数据集在创建过程中面临了多个挑战。首先，缺乏专门的ICAA数据集，现有的IAA数据集只能涵盖“有趣的内容”，而非ICAA所关注的积极兴趣。其次，手动标注大规模图像评估数据集是一个昂贵且耗时的瓶颈。为了解决这些问题，AID-AppEAL引入了一个自动化的数据集生成流程，通过图像处理和生成算法来估计和增强内容吸引力。此外，由于专业图像的获取受限，AID-AppEAL采用了从股票图像网站收集图像，并通过图像处理技术生成合成数据集的方法。最后，为了验证AID-AppEAL的有效性，研究人员进行了一项用户研究，结果显示超过76%的参与者更喜欢吸引力增强的图像，这证实了AID-AppEAL在准确捕捉和增强图像内容吸引力方面的有效性。

常用场景

经典使用场景

AID-AppEAL数据集主要用于图像内容吸引力评估（ICAA），该评估旨在量化图像内容对观众产生的积极兴趣程度。与传统的图像美学评估（IAA）不同，ICAA关注的是图像内容的吸引力，而非图像的艺术质量。AID-AppEAL数据集通过自动化数据集创建和算法实现，可以自动估计和提升图像内容的吸引力。数据集包含超过70,000张图像，涵盖食物和室内设计等多个领域，为研究内容吸引力提供了宝贵的数据资源。

实际应用

AID-AppEAL数据集在实际应用中具有重要的价值。例如，在食品服务、在线零售和度假租赁等领域，图像内容的吸引力对于吸引用户和提升用户体验至关重要。AID-AppEAL数据集可以用于训练专门的内容吸引力评估器和增强器，从而帮助企业和个人更好地理解和提升图像内容的吸引力，从而提升用户满意度和市场竞争力。

衍生相关工作

AID-AppEAL数据集的创建和算法研究衍生出了一系列相关的工作。例如，研究人员可以基于AID-AppEAL数据集开发更加精准的内容吸引力评估模型，以及更加有效的图像内容增强方法。此外，AID-AppEAL数据集还可以用于研究图像内容吸引力与人类感知之间的关系，以及图像内容吸引力对用户行为的影响等问题。这些相关工作将进一步推动图像内容吸引力评估领域的发展，并为相关应用提供理论和技术支持。