SPARE3D

包含视图一致性、相机姿态和形状生成三类2D-3D推理任务，难度越来越大。空间推理是人类智能的重要组成部分。我们可以想象 3D 对象的形状并推断它们的空间关系，只需查看它们在 2D 中的三视图线图，具有不同的能力水平。可以训练深度网络来执行空间推理任务吗？我们如何衡量他们的“空间智能”？为了回答这些问题，我们展示了 SPARE3D 数据集。 SPARE3D 基于认知科学和心理测量学，包含视图一致性、相机姿态和形状生成三类 2D-3D 推理任务，难度越来越大。然后，我们设计了一种方法来自动生成大量具有挑战性的问题，并为每个任务提供真实答案。它们用于为使用 ResNet 等最先进的架构训练我们的基线模型提供监督。我们的实验表明，尽管卷积网络在许多视觉学习任务中都取得了超人的表现，但它们在 SPARE3D 任务上的空间推理性能要么低于人类的平均表现，要么甚至接近随机猜测。我们希望 SPARE3D 能够激发空间推理的新问题公式和网络设计，使智能机器人能够通过 2D 传感器在 3D 世界中有效运行。数据集和代码可在 https://ai4ce.github.io/SPARE3D 获得。