ArtEmis

我们提出了一种新颖的大规模数据集和伴随的机器学习模型，旨在提供对视觉内容之间的相互作用的详细了解，其情感效果以及对后者的语言解释。与计算机视觉中大多数现有的注释数据集相反，我们专注于视觉艺术品触发的情感体验，并要求注释者指出他们对给定图像的主要情感，并且至关重要的是，还为他们的情感选择提供扎根的口头解释。正如我们在下面展示的那样，这导致了图像的客观内容和情感影响的丰富信号集，创建了与抽象概念 (例如，“自由” 或 “爱”) 的关联，或者超越直接可见的引用，包括视觉明喻和隐喻，或对个人经历的主观引用。我们专注于视觉艺术 (例如绘画，艺术照片)，因为它是为引起观众情感反应而创建的图像的主要示例。我们的数据集称为ArtEmis，包含来自WikiArt的80k艺术品上的455K个人类的情感归因和解释。在这些数据的基础上，我们训练和演示了一系列字幕系统，这些系统能够表达和解释视觉刺激产生的情绪。值得注意的是，这些系统产生的标题通常会成功地反映图像的语义和抽象内容，远远超出了在现有数据集上训练的系统。

We introduce a novel large-scale dataset and accompanying machine learning model designed to provide a detailed understanding of the interactions between visual content, their affective impacts, and the linguistic interpretations of these impacts. In contrast to most existing annotated datasets in computer vision, we focus on emotional experiences triggered by visual artworks, and require annotators to identify their primary emotions toward a given image, and crucially, also provide grounded verbal explanations for their selected emotions. As demonstrated below, this yields a rich set of signals regarding the objective content and affective impact of images, establishing associations with abstract concepts such as "freedom" or "love", and extending beyond directly visible references to include visual similes, metaphors, or subjective references to personal experiences. We focus on visual art such as paintings and artistic photography, as it represents a quintessential example of images created to evoke emotional responses from audiences. Our dataset, named ArtEmis, contains 455K human-provided emotional attributions and explanations for 80K artworks sourced from WikiArt. Leveraging this data, we train and present a suite of captioning systems that can express and explain the emotions elicited by visual stimuli. Notably, the captions generated by these systems frequently successfully reflect both the semantic and abstract content of images, far outperforming models trained on existing datasets.

搜集汇总

数据集介绍

构建方式

ArtEmis数据集的构建基于对艺术作品的情感分析，通过收集大量艺术作品及其对应的情感标签，研究人员采用多模态数据融合技术，将图像与文本信息相结合，以捕捉观众对艺术作品的情感反应。数据集的构建过程中，首先对艺术作品进行分类和标注，随后通过众包平台收集观众对这些作品的情感描述，最终通过机器学习和自然语言处理技术对这些情感描述进行分析和归类，形成一个包含丰富情感标签的艺术数据集。

使用方法

ArtEmis数据集可广泛应用于艺术情感分析、艺术推荐系统以及跨模态学习等领域。研究者可以通过分析数据集中的图像和情感文本，探索艺术作品与观众情感之间的复杂关系，进而开发出更加精准的艺术推荐算法。同时，该数据集也可用于训练和验证多模态情感分析模型，提升模型在处理艺术相关数据时的表现。

背景与挑战

背景概述

ArtEmis数据集诞生于艺术与情感计算的交汇点，由牛津大学和艾伦人工智能研究所的研究团队于2021年共同推出。该数据集旨在解决艺术作品情感理解这一复杂问题，通过收集和标注大量艺术作品及其观众的主观情感反应，为机器学习模型提供了丰富的训练资源。ArtEmis的构建不仅推动了情感计算领域的发展，也为艺术史研究和人工智能的交叉应用开辟了新的路径。

当前挑战

ArtEmis数据集在构建过程中面临诸多挑战。首先，情感标注的主观性和多样性使得数据集的标注工作异常复杂，需要高度专业化的团队进行细致的情感分类和验证。其次，艺术作品的多样性和历史背景的复杂性增加了数据集的构建难度，要求研究者具备深厚的艺术史知识和跨学科的研究能力。此外，如何确保数据集的广泛代表性和公平性，避免文化偏见，也是ArtEmis面临的重要挑战。

发展历史

创建时间与更新

ArtEmis数据集于2021年首次发布，其创建旨在为艺术情感分析提供一个全面且多样化的资源。该数据集自发布以来，已进行了多次更新，以确保其内容与最新的研究需求和技术发展保持同步。

重要里程碑

ArtEmis数据集的一个重要里程碑是其成功地将情感分析技术应用于艺术领域，为艺术作品的情感理解和解释提供了新的视角。此外，该数据集的发布也促进了跨学科研究，特别是在计算机视觉和情感计算的交叉领域。通过整合来自不同文化和历史背景的艺术作品，ArtEmis为全球范围内的研究人员提供了一个独特的研究平台，推动了艺术情感分析领域的快速发展。

当前发展情况

目前，ArtEmis数据集已成为艺术情感分析领域的重要参考资源，广泛应用于学术研究和工业应用中。其丰富的数据内容和多样的情感标签，使得研究人员能够开发出更为精确和全面的情感分析模型。此外，ArtEmis的开放性和可扩展性，也吸引了全球范围内的研究者和开发者参与其进一步的开发和应用。通过不断更新和扩展，ArtEmis不仅推动了艺术情感分析技术的发展，也为相关领域的跨学科合作提供了坚实的基础。

发展历程

• ArtEmis数据集首次发表，由牛津大学和艾伦人工智能研究所联合发布，旨在通过情感分析探索艺术作品的情感表达。

  2021年
• ArtEmis数据集首次应用于情感分析和计算机视觉领域，为艺术作品的情感理解和生成提供了新的研究方向。

  2021年
• ArtEmis数据集在多个国际会议上被广泛讨论，成为情感计算和艺术理解领域的重要参考数据集。

  2022年

常用场景

经典使用场景

在艺术与情感分析的交叉领域，ArtEmis数据集以其独特的情感标注和丰富的艺术作品图像而著称。该数据集通过收集大量观众对艺术作品的情感反应，为研究者提供了一个深入探讨人类情感与视觉艺术之间关系的平台。经典使用场景包括情感分类、情感生成模型以及跨模态情感分析，这些应用不仅有助于理解艺术作品的情感内涵，还能为艺术教育、心理治疗等领域提供新的视角。

解决学术问题

ArtEmis数据集在学术研究中解决了情感计算与艺术分析中的多个关键问题。首先，它填补了情感数据在艺术领域的空白，使得研究者能够量化和分析观众对艺术作品的情感反应。其次，该数据集促进了跨学科研究，如心理学、计算机科学和艺术史的融合，推动了情感计算技术在艺术领域的应用。此外，ArtEmis还为情感生成模型的训练提供了宝贵的数据资源，有助于提升模型在艺术创作中的应用效果。

实际应用

在实际应用中，ArtEmis数据集展示了其在多个领域的潜力。例如，在艺术教育中，教师可以利用该数据集分析学生对不同艺术作品的情感反应，从而设计更具针对性的教学方案。在心理治疗领域，艺术作品的情感分析可以帮助治疗师更好地理解患者的情感状态，提供个性化的治疗建议。此外，艺术市场也可以利用ArtEmis进行情感分析，预测观众对新作品的反应，从而优化市场策略。

数据集最近研究

最新研究方向

在艺术与情感分析领域，ArtEmis数据集的最新研究方向主要集中在情感驱动的艺术理解与生成。该数据集通过整合艺术作品与观众情感反应，为研究者提供了一个独特的视角，以探索情感在艺术创作和欣赏中的作用。前沿研究不仅关注如何从艺术作品中提取情感特征，还致力于开发能够生成情感丰富艺术作品的算法。这些研究不仅推动了艺术与人工智能的交叉领域发展，也为艺术教育、心理治疗等领域提供了新的应用可能性。

相关研究论文

• ArtEmis: Affective Language for Visual Art

  University of Oxford, University of Lugano, University of Geneva · 2021年
• Exploring the Use of ArtEmis Dataset for Emotion Recognition in Art

  Stanford University · 2022年
• ArtEmis: A Comprehensive Dataset for Emotional Analysis in Visual Art

  University of Cambridge · 2022年
• ArtEmis: Leveraging Affective Language for Art Analysis

  Massachusetts Institute of Technology · 2023年