VASR

人类认知的一个核心过程是类比映射: 识别不同情况之间相似关系结构的能力。我们介绍了一种新颖的任务，即情景识别的视觉类比，将经典的单词类比任务改编到视觉领域。给定图像的三重，任务是选择一个完成类比的图像候选B' (a到A' 就像B到什么？)。与以前专注于简单图像转换的视觉类比工作不同，我们解决了需要理解场景的复杂类比。
我们利用情况识别注释和剪辑模型来生成大量的500k个候选类比。数据样本的众包注释表明人类在80% 时间内同意数据集标签 (机会级别25%)。此外，我们使用人工注释来创建3,820验证的类比的黄金标准数据集。我们的实验表明，当随机选择干扰物 (〜86%) 时，最先进的模型效果很好，但与精心选择的干扰物 (〜53%，与90% 的人类准确性相比) 却很难。我们希望我们的数据集将鼓励开发新的类比模型。