InSpaceType

InSpaceType数据集由南加州大学和加州大学洛杉矶分校的研究团队创建，专注于室内单目深度估计，包含1260个高质量的RGBD对，覆盖多种室内场景类型。数据集通过高分辨率立体相机ZED-2i采集，确保了数据的密集性和高分辨率，适用于现代应用如机器人导航和AR/VR感知。数据集的创建旨在解决现有数据集在不同空间类型上性能不均的问题，特别是在罕见或不常见空间类型上的表现。该数据集的应用领域包括家庭自动化、机器人导航和AR/VR环境感知，旨在提高深度估计模型在实际应用中的鲁棒性和泛化能力。

搜集汇总

数据集介绍

构建方式

InSpaceType数据集是通过使用具有高分辨率和高质量立体相机Zed-2i收集的，该相机在设备上优化了深度图，并通过与Kinect-v1的比较验证了其准确性。数据集包括88个不同环境的1260张RGBD图像对，涵盖了家庭、工作场所、校园和其他功能空间，共有26个叶节点类型。数据集的构建考虑了场景的多样性，并避免了非朗伯面（如镜子或高度反光区域）。图像和深度数据以15fps的速度以2208×1242的分辨率进行捕捉。

特点

InSpaceType数据集的特点在于其高质量和多样性。它包含了26种叶节点类型，代表了真实世界中常见的室内空间类型。数据集的分布反映了自然分布，例如图书馆的出现频率低于私人房间。此外，InSpaceType数据集提供了一个质量评估工具，包括数据集和代码，可以用来分析预训练模型的性能。

使用方法

InSpaceType数据集可用于评估和比较室内单目深度估计模型的性能。研究人员可以使用该数据集进行零样本跨数据集性能评估，并分析模型在不同空间类型上的性能差异。此外，数据集还可以用于研究模型在不同训练集上的泛化能力，并指导合成数据的最佳实践。

背景与挑战

背景概述

室内单目深度估计在家庭自动化，如机器人导航或AR/VR环境感知中发挥着重要作用。然而，现有的方法主要在NYUv2数据集上进行实验，并集中评估其整体性能。然而，它们对多样未见的空间类型或类别的鲁棒性和泛化能力还有待发现。研究人员可能会在自定义数据或不太频繁的类型上发现已发布的预训练模型性能下降。本文研究了常见的但容易被忽视的因素-空间类型，并实现了模型在不同空间类型上的性能差异。我们提出了InSpaceType数据集，这是一个高质量的RGBD数据集，用于通用室内场景，并在InSpaceType上对13种最新的最先进方法进行了基准测试。我们的研究表明，大多数方法在头部和尾部类型之间存在性能不平衡，其中一些顶级方法的性能下降更为严重。这项工作详细揭示了底层偏差，以提高透明度和鲁棒性。我们将分析扩展到总共4个数据集，并讨论了合成数据整理的最佳实践，以训练室内单目深度。此外，还进行了数据集消融实验，以找出泛化的关键因素。这项工作标志着对跨空间类型性能差异的首次深入调查，更重要的是，发布了有用的工具，包括数据集和代码，以便更密切地检查您的预训练深度模型。

当前挑战

InSpaceType数据集的挑战包括：1)所解决的领域问题是室内单目深度估计，它对于家庭自动化，如机器人导航或AR/VR环境感知至关重要。然而，现有的方法主要在NYUv2数据集上进行实验，并集中评估其整体性能。然而，它们对多样未见的空间类型或类别的鲁棒性和泛化能力还有待发现。研究人员可能会在自定义数据或不太频繁的类型上发现已发布的预训练模型性能下降。2)构建过程中所遇到的挑战包括：a) NYUv2数据集的评估和基准测试存在局限性，它总是报告整个测试集的指标，而忽略了不同空间类型之间的性能差异。b) NYUv2数据集由十年前的Kinect-v1传感器收集，该传感器存在分辨率相对较低、成像噪声和模糊以及可测量范围有限的问题。这些缺点使得评估对现代机器人技术和AR/VR显示器中的高分辨率深度来说不够可靠。c) 现有的单目深度估计方法主要关注方法论，而对数据和评估的关注较少。然而，随着单目深度研究的成熟，有必要进行严格的质量评估，以确定这些模型是否准备好用于实际使用。

常用场景

经典使用场景

InSpaceType数据集主要用于研究室内单目深度估计在不同空间类型下的性能差异。它包含高质量的RGBD数据，覆盖了26种代表性和常见于现实世界的室内空间类型。研究人员可以利用这个数据集来评估和比较不同深度估计模型的性能，并分析它们在不同空间类型下的表现差异。

解决学术问题

InSpaceType数据集解决了室内单目深度估计中一个常见但容易被忽视的问题：空间类型。该数据集揭示了模型在不同空间类型下的性能差异，并分析了造成这种差异的根本原因。此外，InSpaceType还评估了13种最新的深度估计模型，发现它们普遍存在性能不平衡的问题，即模型在常见空间类型（头部类型）上的表现优于不常见类型（尾部类型）。这个数据集的发布有助于研究人员更好地理解深度估计模型的性能差异，并推动该领域的研究。

衍生相关工作

InSpaceType数据集的发布衍生了一系列相关工作。研究人员利用这个数据集来评估和比较不同深度估计模型的性能，并分析它们在不同空间类型下的表现差异。此外，InSpaceType还揭示了当前合成数据集在反映真实场景复杂性方面的不足，并提出了改进合成数据集的方法。这些工作有助于推动室内单目深度估计领域的研究，并为实际应用提供更好的指导。