Images with Aesthetics and Emotions Dataset (IAE Dataset)

IAE数据集是一个大型数据集，旨在促进图像美学和情感预测的联合多任务学习。该数据集是首个与美学和情感标签相关联的图像集合，包含22,086张图像，分为八种情感类别，并通过美学质量进行进一步评级。

The IAE dataset is a large-scale dataset designed to facilitate joint multi-task learning for image aesthetics and emotion prediction. It is the first collection of images associated with both aesthetic and emotional labels, comprising 22,086 images categorized into eight emotional classes and further rated by aesthetic quality.

原始信息汇总

数据集概述

数据集名称

• Images with Aesthetics and Emotions Dataset (IAE Dataset)

数据集目的

• 用于促进多任务学习，实现统一图像美学和情感预测。

数据集特点

• 包含22,086张图像，每张图像均带有美学和情感标签。
• 情感标签分为八类：amusement, anger, awe, contentment, disgust, excitement, fear, sadness。
• 美学标签根据图像质量分为四级：Excellent (score 10), Good (score 7), Fair (score 4), Bad (score 1)。
• 通过10名志愿者的评分，每张图像的美学质量由平均分决定，范围为1至10。
• 根据平均分，图像被分为高美学质量（12,762张）和低美学质量（9,324张）。

数据集结构

• 文件列表
  • train_aes_list.txt
  • val_aes_list.txt
  • test_aes_list.txt
  • train_emo_list.txt
  • val_emo_list.txt
  • test_emo_list.txt
  • images/
  • scores.h5

数据集下载

• 可通过Baidu Netdisk(xsza)和OneDrive下载。

数据集作者

• Chaoran Cui, Zhen Shen, Jun Yu

搜集汇总

数据集介绍

构建方式

在图像美学评估与情感识别的研究领域中，IAE数据集的构建旨在促进多任务学习的统一研究。该数据集基于先前的情感数据集扩展而成，包含22,086张图像，这些图像被手动划分为八种情感类别。为了进一步评估图像的美学质量，邀请了十名志愿者对每张图像进行评分，评分分为四个等级：优秀、良好、一般和差。每张图像的美学质量通过评分平均值计算，最终将图像分为高美学质量和低美学质量两类。

特点

IAE数据集的显著特点在于其同时包含美学和情感标签，这在现有数据集中尚属首次。数据集中的图像被分为八种情感类别，并且每张图像的美学质量通过严格的评分流程确定。数据分布显示，激发积极情感的图像更可能具有高美学质量，而消极情感则与低美学质量相关。这一现象为美学与情感感知之间的相关性提供了实证支持。

使用方法

IAE数据集的使用方法较为直观。用户可以通过百度网盘或OneDrive下载数据集，数据包中包含训练、验证和测试集的美学与情感标签文件，以及所有图像的评分数据。研究人员可以利用这些标签文件进行美学评估和情感识别的多任务学习。数据集的结构清晰，便于直接应用于深度学习模型的训练与评估。

背景与挑战

背景概述

在用户感知理解领域，美学评估与情感识别是两个基础且相互关联的研究问题。然而，现有研究通常将这两个任务分开处理，缺乏联合研究的深入探索。为此，研究人员Chaoran Cui、Zhen Shen和Jun Yu于近年创建了Images with Aesthetics and Emotions Dataset（IAE Dataset），旨在推动多任务学习在统一图像美学与情感预测中的应用。该数据集扩展了早期情感数据集[1]，包含22,086张图像，每张图像均被手动标注为八种情感类别之一，并进一步通过十名志愿者对其美学质量进行评分。IAE数据集首次将美学与情感标签结合，为相关领域提供了重要的研究资源。

当前挑战

IAE数据集在解决图像美学与情感联合预测问题时面临多重挑战。首先，美学评估与情感识别虽相关，但其内在机制复杂且难以量化，如何设计有效的多任务学习模型以同时捕捉两者的关联性是一大难题。其次，数据集的构建过程中，美学评分的标准化与一致性是关键挑战。尽管通过多名志愿者评分并取平均值的方式缓解了主观偏差，但评分者的个体差异仍可能影响数据质量。此外，数据集中情感与美学标签的分布不均衡，尤其是负面情感与低美学质量的关联性较强，可能导致模型在训练过程中偏向特定类别，影响泛化能力。

常用场景

经典使用场景

在图像美学与情感分析领域，IAE数据集为研究者提供了一个独特的资源，使得能够同时进行美学评估和情感识别的多任务学习。这一数据集通过将22,086张图像分为八个情感类别，并进一步对这些图像的美学质量进行评分，为探索美学与情感之间的关联提供了丰富的数据支持。

衍生相关工作

基于IAE数据集，研究者们开发了多种多任务学习模型，用于同时预测图像的美学质量和情感类别。这些模型不仅在学术界得到了广泛认可，还为后续研究提供了重要的参考。此外，该数据集还激发了更多关于美学与情感交互机制的研究，推动了相关领域的进一步发展。

数据集最近研究

最新研究方向

在视觉感知领域，美学评估与情感识别是两个紧密相关且相互促进的研究方向。近年来，随着深度学习技术的快速发展，多任务学习模型在处理联合任务时展现出显著优势。Images with Aesthetics and Emotions Dataset (IAE Dataset) 作为首个同时标注美学质量与情感类别的图像数据集，为研究者提供了一个全新的实验平台。通过该数据集，研究者能够深入探索美学与情感之间的关联性，并开发出更高效的联合预测模型。当前的研究热点包括基于多模态特征融合的美学-情感联合预测、跨领域迁移学习在美学评估中的应用，以及情感驱动的图像生成与增强技术。这些研究不仅推动了计算机视觉领域的发展，也为社交媒体内容分析、广告设计优化等实际应用提供了重要支持。