ArtEmis

我们提出了一种新颖的大规模数据集和伴随的机器学习模型，旨在提供对视觉内容之间的相互作用的详细了解，其情感效果以及对后者的语言解释。与计算机视觉中大多数现有的注释数据集相反，我们专注于视觉艺术品触发的情感体验，并要求注释者指出他们对给定图像的主要情感，并且至关重要的是，还为他们的情感选择提供扎根的口头解释。正如我们在下面展示的那样，这导致了图像的客观内容和情感影响的丰富信号集，创建了与抽象概念 (例如，“自由” 或 “爱”) 的关联，或者超越直接可见的引用，包括视觉明喻和隐喻，或对个人经历的主观引用。我们专注于视觉艺术 (例如绘画，艺术照片)，因为它是为引起观众情感反应而创建的图像的主要示例。我们的数据集称为ArtEmis，包含来自WikiArt的80k艺术品上的455K个人类的情感归因和解释。在这些数据的基础上，我们训练和演示了一系列字幕系统，这些系统能够表达和解释视觉刺激产生的情绪。值得注意的是，这些系统产生的标题通常会成功地反映图像的语义和抽象内容，远远超出了在现有数据集上训练的系统。