B-T4SA

在过去的几年中，情感分析领域取得了很大进展。研究人员依靠文本数据来完成这项任务，而直到最近他们才开始研究从多媒体内容中预测情绪的方法。随着社交媒体上共享的数据量不断增加，人们对“在野外”工作的方法也越来越感兴趣，即能够处理不受控制的条件。在这项工作中，我们面临着从大量用户生成和未标记的内容开始训练视觉情感分类器的挑战。特别是，我们收集了超过 300 万条包含文本和图像的推文，并利用文本内容的情感极性来训练视觉情感分类器。据我们所知，这是第一次在这种情况下提出和测试跨媒体学习方法。我们通过对视觉情感分析的基准进行比较研究和评估来评估我们模型的有效性。我们的实证研究表明，尽管与每张图像相关的文本通常是嘈杂的，并且与图像内容的相关性很弱，但可以利用它来训练深度卷积神经网络，从而有效地预测以前看不见的图像的情感极性。