Visual Abductive Reasoning(VAR）

我们提出了一个新的任务和数据集，即视觉归纳推理 (VAR)，用于检查日常视觉情况下机器智能的归纳推理能力。给定一组不完整的视觉事件，人工智能系统不仅需要描述观察到的内容，还需要推断出能够最好地解释视觉前提的假设。基于我们的大规模VAR数据集，我们设计了一个强大的基线模型，推理器 (因果级联推理变换器)。首先，为了捕获观测值的因果结构，在编码器中采用了上下文化的定向位置嵌入策略，该策略可以对前提和假设产生区分性表示。然后，将多个解码器级联以生成并逐步完善前提和假设句子。句子的预测得分用于在级联推理过程中指导跨句信息流。我们的VAR基准测试结果表明，推理器超越了许多著名的视频语言模型，但仍远远落后于人类的表现。预计这项工作将促进推理超越观察范式的未来努力。