Pix3D

我们从单个图像研究3D形状建模，并在三个方面对其做出贡献。首先，我们介绍了 Pix3D，这是一个具有像素级 2D-3D 对齐的各种图像形状对的大规模基准。 Pix3D 在形状相关的任务中有着广泛的应用，包括重建、检索、视点估计等。然而，构建这样一个大规模的数据集是非常具有挑战性的；现有数据集要么仅包含合成数据，要么缺乏 2D 图像和 3D 形状之间的精确对齐，或者只有少量图像。其次，我们通过行为研究校准了 3D 形状重建的评估标准，并用它们来客观、系统地对 Pix3D 上的尖端重建算法进行基准测试。第三，我们设计了一个同时执行 3D 重建和姿态估计的新模型；我们的多任务学习方法在这两个任务上都实现了最先进的性能。