SentiCap

图像识别和语言建模的最新进展正在使图像内容的自动描述成为现实。但是，当前系统缺少书面描述的程式化、非事实方面。一种这样的风格是带有情感的描述，这在日常交流中很常见，并且会影响决策和人际关系。我们设计了一个系统来描述带有情感的图像，并展示了一个自动生成带有正面或负面情绪的字幕的模型。我们提出了一种具有词级正则化的新型切换循环神经网络，它能够仅使用 2000 多个包含情感的训练句子来生成情感图像说明。我们使用不同的自动和众包指标评估字幕。我们的模型在图像字幕的常见质量指标方面具有优势。在 84.6% 的案例中，生成的正面字幕被认为至少与事实字幕一样具有描述性。在这些积极的标题中，88% 被众包工作者确认为具有适当的情绪。