PanoContext

标准相机的视场非常小，这是上下文信息在目标检测方面没有应有的作用的主要原因之一。为了克服这个限制，我们提倡在场景理解中使用 360° 全视图全景图，并提出 3D 的全房间上下文模型。对于输入全景图，我们的方法输出房间的 3D 边界框和里面的所有主要对象，以及它们的语义类别。我们的方法基于上下文约束生成 3D 假设，并结合自下而上和自上而下的上下文信息对假设进行整体排序。为了训练我们的模型，我们构建了一个带注释的全景数据集，并使用手动注释从单视图重建 3D 模型。实验表明，仅基于 3D 上下文而没有任何图像区域类别分类器，我们可以实现与最先进的对象检测器相当的性能。这表明当 FOV 很大时，上下文与对象外观一样强大。所有数据和源代码均可在线获取。