Rent3D

这项工作的目标是在给定一小组不同房间的单目图像以及 2D 平面图的情况下，实现公寓的 3D“虚拟游览”。我们将问题描述为马尔可夫随机场中的推断，该场推断每个房间的布局及其在整个公寓内的相对姿势（3D 旋转和平移）。这为我们提供了每个图像在公寓中的准确相机姿势。使我们在布局估计方面与过去工作的不同之处在于使用平面图作为先验知识的来源，以及在更大的空间（公寓）内定位每个图像。特别是，我们利用平面图对不同房间的布局施加纵横比约束，并提取语义信息，例如平面图中标记的窗户的位置。我们表明，这些信息可以显着帮助解决具有挑战性的房间-公寓对齐问题。我们还推导出了一个有效的精确推理算法，每个公寓只需要几毫秒。这是因为我们利用了积分几何以及我们对房间纵横比的新界限，这使我们能够雕刻空间，显着减少物理上可能的配置数量。我们在包含 200 多套公寓的新数据集上展示了我们的方法的有效性。