SUNCG

从单视图深度图观察中生成场景的体积占用和语义标签的完整 3D 体素表示的任务。以前的工作已经分别考虑了深度图的场景完成和语义标记。然而，我们观察到这两个问题是紧密交织在一起的。为了利用这两个任务的耦合性质，我们引入了语义场景完成网络（SSCNet），这是一个端到端的 3D 卷积网络，它以单个深度图像作为输入，同时输出所有体素的占用率和语义标签。相机视锥体。我们的网络使用基于扩张的 3D 上下文模块来有效地扩展感受野并实现 3D 上下文学习。为了训练我们的网络，我们构建了 SUNCG——一个手动创建的具有密集体积注释的合成 3D 场景的大规模数据集。我们的实验表明，联合模型优于单独处理每个任务的方法，并且优于语义场景完成任务的替代方法。