360-USID

360-USID数据集是首个为360°无界场景修复提供地面真实数据集。该数据集由阳明交通大学创建，旨在解决三维场景中物体移除和孔洞填充的挑战，特别是360°无界场景中的一致性和几何精度问题。数据集包含了多视角RGB图像、相机参数、物体掩码等，用于训练和评估基于高斯散点表示的三维场景修复方法。

The 360-USID dataset is the first ground-truth dataset dedicated to 360° unbounded scene inpainting. Created by National Yang Ming Chiao Tung University, this dataset aims to address the challenges of object removal and hole filling in 3D scenes, particularly the consistency and geometric accuracy issues in 360° unbounded scenes. The dataset includes multi-view RGB images, camera parameters, object masks and other relevant data, which are used for training and evaluating 3D scene inpainting methods based on Gaussian Splatting representation.

搜集汇总

数据集介绍

构建方式

360-USID数据集的构建采用了360度无界场景修复技术，通过捕获场景中的多个训练视图（包含物体）和参考视图（不含物体）以及地面真实的新颖测试视图，来生成一个全面的测试数据集。数据集包含了七个场景，包括五个户外场景和两个室内场景，每个场景包括180-200个训练图像和大约30个测试图像。数据收集过程中，使用标准相机从不同角度捕获图像，并确保光照的一致性。此外，数据预处理和姿态估计使用了COLMAP等SfM流程来计算共享的3D坐标空间。

特点

360-USID数据集的特点在于其全面性，包含了多个场景的多个训练视图、参考视图和地面真实测试视图，这些视图覆盖了室内和室外环境，为评估360°修复方法提供了丰富的数据。数据集还提供了精细的深度信息，这对于深度感知的修复方法尤为重要。此外，数据集的构建方式也确保了多视图的一致性，这对于评估修复方法的几何准确性和视图一致性至关重要。

使用方法

使用360-USID数据集时，首先需要从数据集中选择适当的场景和视图。然后，可以使用这些视图来训练和测试360°修复方法。数据集提供了精细的深度信息和地面真实测试视图，这些对于评估修复方法的几何准确性和视图一致性非常重要。此外，数据集的构建方式也确保了多视图的一致性，这对于评估修复方法的整体性能非常有用。在使用数据集时，需要注意数据预处理和姿态估计，以确保数据的质量和准确性。

背景与挑战

背景概述

360-USID数据集是 AuraFusion360 方法的重要组成部分，该方法由来自国立阳明交通大学和英伟达的研究人员开发，旨在解决三维场景修复和操作中的关键挑战。该数据集的创建旨在支持基于参考的360度无限场景修复任务，其中三维场景由高斯散点表示。AuraFusion360 方法引入了深度感知的未见区域掩码生成，以准确识别遮挡，并采用自适应引导深度扩散技术，无需额外训练即可实现精确的初始点放置。此外，该方法还引入了基于 SDEdit 的细节增强技术，以确保多视图一致性。该数据集为360度无限场景修复提供了第一个全面的数据集，具有真实标签，为相关研究提供了宝贵资源。

当前挑战

360-USID 数据集和相关方法面临的主要挑战包括：1) 维护多视图一致性和几何精度，特别是在360度无限场景中；2) 填充未见区域，同时确保与参考图像的一致性；3) 实现高效的三维场景编辑和修复，以满足实时应用的需求。此外，该数据集和方法在处理具有显著遮挡和复杂几何形状的场景时，可能面临像素不正确投射的问题，导致修复区域出现漂浮物。这些问题为未来的研究提供了改进和探索的方向。

常用场景

经典使用场景

360-USID数据集在360度无边界场景修复中的应用非常广泛。该数据集主要用于训练和评估三维场景修复模型，特别是针对虚拟现实、建筑可视化等应用领域。通过对360度场景中物体的去除和空洞填充，该数据集可以帮助研究者开发出高质量的修复算法，从而提高场景重建和可视化的准确性。

解决学术问题

360-USID数据集解决了三维场景修复中的多个学术研究问题。首先，该数据集提供了360度无边界场景的真实修复结果，为研究者提供了基准数据，有助于评估和比较不同修复算法的性能。其次，360-USID数据集包含了多种不同场景和视点变化，有助于研究者研究如何利用多视图信息进行修复，以及如何保持不同视点之间的几何一致性和视觉真实性。

衍生相关工作

360-USID数据集的发布推动了三维场景修复领域的研究。基于该数据集，研究者开发了多种新的修复算法，例如，基于深度学习的修复算法、基于扩散模型的修复算法等。这些算法不仅提高了修复质量，还提高了修复效率。此外，360-USID数据集还被用于评估和比较不同的修复算法，从而推动了三维场景修复领域的发展。