EmoSet

EmoSet是由深圳大学创建的一个大规模视觉情感数据集，包含330万张图像，其中118,102张图像经过人工标注。该数据集不仅标注了八种情感类别，还包含了六种情感属性，如亮度、色彩丰富度、场景类型、对象类别、面部表情和人类动作。EmoSet的数据来源多样，包括社交媒体和艺术作品，旨在通过这些丰富的属性帮助理解和预测视觉刺激引起的情感反应。数据集的创建过程涉及从多个来源收集图像，并通过人工和机器学习方法进行标注。EmoSet的应用领域广泛，包括情感计算、图像美学评估和智能广告等，旨在解决如何通过视觉内容理解和预测人类情感的问题。

EmoSet is a large-scale visual emotion dataset created by Shenzhen University, which contains 3.3 million images, among which 118,102 images have been manually annotated. This dataset is not only annotated with eight emotion categories, but also includes six emotional attributes, such as brightness, color richness, scene type, object category, facial expression and human action. EmoSet has diverse data sources, including social media and artworks, aiming to help understand and predict emotional responses evoked by visual stimuli through these rich attributes. The development process of the dataset involves collecting images from multiple sources and annotating them via both manual and machine learning approaches. EmoSet has a wide range of application scenarios, including affective computing, image aesthetic assessment, intelligent advertising and so on, aiming to address the problem of how to understand and predict human emotions through visual content.

搜集汇总

数据集介绍

构建方式

EmoSet 数据集的构建始于从互联网上检索大量图像，通过情绪关键词进行过滤。该数据集基于 Mikels 模型，包含八个情绪类别，每个类别都经过了同义词替换和词形变化扩展，以获取更多数据。最终收集了 3.3 万张图像，并通过投票和去重处理得到 330 万张图像的 EmoSet-3.3M 数据集。此外，为了获取更精确的标签，邀请了 60 位经过筛选的标注员对 EmoSet-3.3M 中的部分图像进行人工标注，最终形成了包含 11.8 万张人工标注图像的 EmoSet-118K 数据集。标注过程中，标注员需要验证图像的情绪标签和属性标签，以确保数据的准确性和可靠性。

特点

EmoSet 数据集具有四个显著特点：规模大、标注丰富、多样性高和数据平衡。EmoSet-118K 数据集包含 11.8 万张人工标注图像，比现有最大规模的 VEA 数据集 FI 大五倍。除了情绪标签，EmoSet 还标注了六种情绪属性，包括亮度、鲜艳度、场景类型、物体类别、面部表情和人类动作，以帮助更精确地理解视觉情绪。数据集涵盖了来自社交网络和艺术作品的图像，并在不同情绪类别之间保持了良好的平衡。

使用方法

EmoSet 数据集可用于视觉情绪分析的研究和开发。研究人员可以使用该数据集训练和测试视觉情绪识别模型，并探索情绪属性对情绪识别和理解的影响。此外，EmoSet 数据集还适用于弱监督学习、视觉语言建模和多模态情绪分析等任务。数据集的使用需要遵循数据集的许可证和使用条款，并尊重数据隐私和版权。

背景与挑战

背景概述

情感计算作为人工智能领域的一个重要分支，旨在识别、理解和响应人类的情感。视觉情感分析（VEA）作为情感计算的一个子领域，旨在预测人们对视觉刺激的情感反应。现有的VEA研究主要集中在特征设计上，而对数据集构建的关注较少。EmoSet是一个大规模视觉情感数据集，由深圳大学、耶路撒冷希伯来大学和特拉维夫大学的研究人员于2023年7月创建。该数据集包含3.3百万张图像，其中11.8万张图像由人工标注，使其成为迄今为止最大的VEA数据集。EmoSet不仅在规模上优于现有数据集，还在标注丰富性、多样性和数据平衡性方面具有优势。除了情感类别标签外，EmoSet还为每张图像标注了六种可描述的情感属性：亮度、饱和度、场景类型、物体类别、面部表情和人类动作。这些属性可以帮助人们更精确和可解释地理解视觉情感。EmoSet的创建为VEA领域带来了新的突破，有望推动该领域的研究和应用。

当前挑战

尽管EmoSet在VEA领域取得了重要进展，但仍面临着一些挑战。首先，情感本身是抽象和复杂的，难以精确分类。其次，情感的主观性使得标注过程存在一定的难度，需要确保标注的准确性和一致性。此外，尽管EmoSet包含了丰富的情感属性标注，但这些属性与情感之间的关系仍需要进一步研究。最后，EmoSet的跨数据集泛化能力需要进一步验证，以确保其在其他VEA数据集上的性能表现。

常用场景

经典使用场景

在情感计算领域，EmoSet数据集凭借其大规模、丰富的标注信息、多样性和数据平衡性，成为视觉情感分析（VEA）任务中的经典数据集。该数据集包含3.3百万张图像，其中11.8万张由人工标注，使其成为目前最大的视觉情感数据集。EmoSet不仅标注了八种情感类别，还包含了六种情感属性，如亮度、色彩鲜艳度、场景类型、物体类别、面部表情和人类动作，这些属性有助于更精确和可解释地理解视觉情感。EmoSet数据集的经典使用场景包括情感识别、情感理解和视觉情感生成与编辑等。

实际应用

EmoSet数据集在情感计算领域具有广泛的应用前景。例如，在社交媒体分析中，EmoSet可以用于分析用户发布的图像情感，帮助理解用户的心理状态和情感倾向。在智能广告中，EmoSet可以用于分析广告图像的情感效果，从而提高广告的吸引力和转化率。在心理健康领域，EmoSet可以用于分析患者的面部表情和图像情感，帮助医生更好地了解患者的心理状况。此外，EmoSet还可以用于图像美评估、图像理解、意见挖掘等任务，为相关领域的研究和应用提供支持。

衍生相关工作

EmoSet数据集的引入促进了VEA领域的研究进展，衍生了一系列相关的研究工作。例如，基于EmoSet数据集，研究人员提出了属性模块，用于辅助视觉情感识别。此外，EmoSet数据集还被用于研究情感属性的语义关联性，以及情感属性对情感识别的影响。这些研究工作进一步推动了VEA领域的发展，并为未来研究提供了新的方向和思路。