Unified Aesthetic and Emotional Dataset (UAE Dataset)

美学评估和情感识别是用户感知理解的两个基本问题。尽管这两个任务在现有研究中通常是分开解决的，但它们是相互关联且互利的。为了更好地进行联合研究，我们通过进一步手动评定图像的美学质量，扩展了一个大规模的情感数据集。据我们所知，这个新数据集是首个与美学和情感标签相关联的图像集合。

Aesthetic evaluation and emotion recognition are two fundamental issues in user perception understanding. Although these two tasks are typically addressed separately in existing research, they are interrelated and mutually beneficial. To facilitate joint research, we have expanded a large-scale emotion dataset by further manually assessing the aesthetic quality of images. To the best of our knowledge, this new dataset is the first collection of images associated with both aesthetic and emotional labels.

原始信息汇总

Unified Aesthetic and Emotional Dataset (UAE Dataset) 概述

数据集介绍

• 名称: Unified Aesthetic and Emotional Dataset (UAE Dataset)
• 目的: 用于联合研究图像的美学评估和情感识别，支持多任务学习。
• 特点: 是首个结合美学和情感标签的大规模图像数据集。
• 数据规模: 包含22,086张图像，分为八种情感类别，每类至少有1,100张图像。

美学评估

• 评估方法: 由10名志愿者对每张图像进行美学评分，分为四个等级：Excellent（10分）、Good（7分）、Fair（4分）和Bad（1分）。
• 评分结果: 美学质量通过平均分衡量，范围从1到10。平均分小于5的图像被标记为低质量，其余为高质量。
• 结果: 识别出12,762张高质量图像和9,324张低质量图像。

情感识别

• 情感类别: 包括amusement, anger, awe, contentment, disgust, excitement, fear, sadness。前四种为积极情感，后四种为消极情感。
• 情感与美学关系: 数据显示，引发积极情感的图像更可能具有高质量美学，反之则更可能是低质量美学。

数据集结构

• 文件列表:
  • train_aes_list.txt, val_aes_list.txt, test_aes_list.txt: 分别列出训练、验证和测试样本的美学标签。
  • train_emo_list.txt, val_emo_list.txt, test_emo_list.txt: 分别列出训练、验证和测试样本的情感标签。
  • images/: 包含所有图像，索引从0到22,085。
  • scores.h5: 包含所有志愿者的评分。

数据集下载

• 下载链接: 可通过Baidu Netdisk(xsza) 和 OneDrive 下载。

搜集汇总

数据集介绍

构建方式

Unified Aesthetic and Emotional Dataset (UAE Dataset) 的构建基于对大规模情感数据集的扩展，进一步通过人工评分的方式对图像的美学质量进行标注。该数据集包含22,086张图像，这些图像被手动划分为八种情感类别，包括娱乐、愤怒、敬畏、满足、厌恶、兴奋、恐惧和悲伤。为确保评分过程的准确性和一致性，邀请了十名志愿者对每张图像进行美学评分，评分分为四个等级：优秀（10分）、良好（7分）、一般（4分）和差（1分）。每张图像的美学质量通过评分者的平均分来衡量，最终将图像分为高美学质量和低美学质量两类。

使用方法

UAE Dataset 的使用方法较为直观，用户可以通过百度网盘或OneDrive下载数据集。数据集包含训练、验证和测试样本的美学与情感标签文件，以及所有图像的原始文件。用户可以根据需要加载相应的标签文件进行多任务学习，例如联合预测图像的美学质量和情感类别。此外，数据集还提供了所有志愿者的评分数据，便于进一步分析评分者的评分一致性或进行其他相关研究。

背景与挑战

背景概述

在用户感知理解领域，美学评估与情感识别是两个基础性问题，尽管二者相互关联且彼此促进，但现有研究通常将其分开处理。为更好地进行联合研究，研究人员Chaoran Cui、Zhen Shen和Jun Yu扩展了一个大规模情感数据集，进一步通过人工评分的方式对图像的美学质量进行标注，创建了Unified Aesthetic and Emotional Dataset（UAE Dataset）。该数据集首次将美学与情感标签相结合，包含22,086张图像，分为八种情感类别，并基于美学评分将图像分为高质量与低质量两类。这一数据集为多任务学习提供了重要资源，推动了美学与情感感知的联合研究。

当前挑战

UAE Dataset在解决美学评估与情感识别的联合问题时面临多重挑战。首先，美学与情感感知具有高度主观性，如何确保评分的一致性与客观性是一个关键问题。尽管邀请了十名志愿者进行评分，但个体差异仍可能导致评分偏差。其次，数据集的构建过程涉及大规模图像的人工标注，这一过程耗时且成本高昂，同时需要确保标注的准确性与完整性。此外，美学与情感之间的复杂关系尚未完全明确，如何在模型中有效捕捉二者之间的交互作用仍是一个开放性问题。这些挑战为相关研究提供了新的方向，同时也凸显了数据集在推动领域发展中的重要性。

常用场景

经典使用场景

在视觉感知研究领域，Unified Aesthetic and Emotional Dataset (UAE Dataset) 被广泛应用于联合美学评估与情感识别的多任务学习。该数据集通过提供每张图像的美学评分和情感标签，使得研究者能够同时探索美学与情感之间的关联性，进而推动跨领域的研究进展。

解决学术问题

UAE Dataset 解决了美学评估与情感识别研究中长期存在的分离问题。通过将美学评分与情感标签结合，该数据集为研究者提供了一个统一的框架，用于探索美学与情感之间的相互作用。这不仅深化了对用户视觉感知的理解，还为多任务学习模型的设计提供了宝贵的数据支持。

实际应用

在实际应用中，UAE Dataset 被广泛用于图像推荐系统、社交媒体内容优化以及广告设计等领域。通过分析图像的美学质量与情感表达，开发者能够更精准地预测用户偏好，从而提升用户体验与内容传播效果。

数据集最近研究

最新研究方向

在用户感知理解领域，美学评估与情感识别是两个核心问题，传统研究往往将其分开处理。然而，Unified Aesthetic and Emotional Dataset (UAE Dataset) 的推出为这一领域带来了新的研究方向。该数据集首次将美学质量与情感标签相结合，为多任务学习提供了丰富的数据支持。通过扩展大规模情感数据集并手动标注图像的美学质量，UAE Dataset 不仅揭示了美学与情感感知之间的相关性，还为跨领域研究提供了实证基础。当前研究热点集中在利用该数据集探索美学与情感的交互机制，以及如何通过深度学习模型实现更精准的联合预测。这一方向不仅推动了用户感知理解的深入，也为图像处理、情感计算等领域的技术创新提供了新的思路。