DAP-2M

DAP-2M是由Insta360 Research联合多所高校构建的大规模全景深度数据集，包含200万条跨室内外场景的合成与真实数据。该数据集整合了Structured3D的室内标注数据、基于UE5的AirSim360模拟器生成的9万张室外合成全景，以及从互联网爬取的170万张真实全景图像和DiT360生成的20万张室内补充样本。通过三阶段伪标签优化流程，有效弥合了合成与真实数据间的领域差异。该数据集为全景深度估计提供了多样化的监督信号，支撑了在机器人导航、空间感知等领域的应用，旨在解决现有全景数据规模不足和领域泛化能力弱的核心问题。DAP-2M is a large-scale panoramic depth dataset developed by Insta360 Research in collaboration with multiple universities. It contains 2 million synthetic and real data samples spanning indoor and outdoor scenes. This dataset integrates indoor annotated data from Structured3D, 90,000 outdoor synthetic panoramic images generated by the UE5-based AirSim360 simulator, 1.7 million real panoramic images crawled from the Internet, and 200,000 supplementary indoor samples generated by DiT360. Through a three-stage pseudo-label optimization pipeline, it effectively narrows the domain gap between synthetic and real-world data. This dataset provides diverse supervision signals for panoramic depth estimation, supports applications in fields such as robot navigation and spatial perception, and aims to address the core challenges of insufficient scale of existing panoramic datasets and weak domain generalization capability.

搜集汇总

数据集介绍

构建方式

在全景深度估计领域，数据稀缺与多样性不足长期制约着模型的泛化能力。DAP-2M数据集通过创新的数据引擎构建，整合了多源异构数据以突破这一瓶颈。其构建过程系统性地融合了公开室内数据集Structured3D、基于UE5仿真器AirSim360生成的高质量合成户外全景，以及从互联网采集并经DiT360增强的真实全景图像。为弥合室内外与合成真实数据间的域差异，研究团队设计了三阶段伪标签精炼流水线：首先在平衡的合成数据上训练场景不变标注器，为190万未标注图像生成初始伪标签；随后通过基于PatchGAN的判别器筛选出60万高置信度样本，训练真实性不变标注器以提升伪标签质量；最终联合所有标注数据与精炼伪标签训练基础模型，形成了涵盖200万样本的大规模全景深度数据集。

使用方法

DAP-2M数据集为全景深度估计研究提供了系统化的训练与评估框架。在模型训练层面，数据集支持端到端的监督学习与半监督学习范式，研究者可基于其提供的分层数据（标注数据、精炼伪标签数据）构建训练流水线，特别适用于需要强泛化能力的基础模型开发。数据集配套的DAP模型架构采用DINOv3-Large作为视觉主干，并创新性地引入了即插即用的距离掩码头与几何一致性优化模块，用户可参考其多损失函数设计（包括Silog、DF-Gram、梯度、法向与点云损失）来提升模型性能。在评估方面，数据集与斯坦福2D3D、Matterport3D及Deep360等标准基准兼容，支持零样本泛化能力测试，同时提供的DAP-Test新基准专门用于户外场景的深度评估，为方法比较提供了统一度量标准。

背景与挑战

背景概述

全景深度估计作为计算机视觉领域的关键研究方向，旨在从360°×180°的全景图像中恢复精确的度量深度信息，为机器人导航、虚拟现实等应用提供全面的空间感知能力。DAP-2M数据集由Insta360 Research、加州大学圣地亚哥分校等机构的研究团队于2025年提出，其核心目标是解决现有全景深度数据在规模与多样性上的局限。该数据集整合了公开数据集、基于UE5的高质量合成数据以及来自网络的真实全景图像，构建了超过200万个样本的大规模资源，涵盖了室内外场景与合成真实域，为全景度量深度基础模型的训练提供了统一且全面的数据基础，显著推动了该领域向零样本泛化与跨域一致性的发展。

当前挑战

DAP-2M数据集致力于解决全景度量深度估计中的核心挑战，即模型在多样真实场景（尤其是室外环境）下的泛化能力不足。这一领域问题的难点源于全景图像固有的球面几何畸变、室内外场景的域差异以及合成与真实数据之间的分布鸿沟。在构建过程中，研究团队面临数据标注成本高昂、大规模未标注数据利用效率低等挑战。为此，他们设计了三阶段伪标签精炼流水线，通过场景不变与真实感不变标注器的渐进训练，有效弥合了域间隙，并利用判别器筛选高置信度样本，确保了伪标签的可靠性，从而在数据层面支撑了基础模型的强健泛化性能。

常用场景

经典使用场景

在全景视觉领域，DAP-2M数据集最经典的应用场景在于训练和评估全景深度估计的基础模型。该数据集通过整合大规模合成与真实全景图像，为模型提供了跨越室内外复杂场景的丰富几何监督。研究者利用其超过200万样本的规模优势，能够系统性地探索数据驱动范式下的模型泛化能力，尤其在零样本跨域评估中，DAP-2M支撑了模型在未见过的真实环境（如城市街景、自然风光）中保持度量一致性的深度预测，成为推动全景几何理解迈向实用化的重要基石。

解决学术问题

DAP-2M数据集有效解决了全景深度估计中长期存在的两大核心学术问题：一是数据规模与多样性的匮乏，传统方法因标注成本高昂而难以覆盖复杂多变的真实场景；二是合成与真实数据、室内与室外场景之间的域差异问题，导致模型泛化性能受限。该数据集通过创新的三阶段伪标签精炼流水线，弥合了不同域之间的分布差距，为学术界提供了首个统一度量、跨域一致的大规模全景深度基准，使得构建具有强泛化能力的全景基础模型成为可能，显著提升了该研究方向的可行性与科学性。

实际应用

在实际应用层面，DAP-2M数据集支撑的技术已广泛应用于机器人导航、虚拟现实与增强现实、自动驾驶及三维场景重建等领域。基于该数据集训练的深度估计模型，能够为无人机或地面机器人提供全向障碍物感知能力，实现安全高效的自主避障；在VR/AR应用中，它可快速生成沉浸式环境的几何结构，支撑虚实融合的交互体验；同时，其度量一致的深度输出为大规模城市场景的三维数字化提供了可靠的数据基础，显著降低了传统激光扫描的成本与复杂度，展现了从学术研究到产业落地的清晰路径。

数据集最近研究

最新研究方向

全景深度估计领域正经历从依赖有限标注数据向大规模数据驱动范式的深刻转变。DAP-2M数据集作为这一趋势的前沿代表，其核心研究方向聚焦于构建一个能够统一室内外、合成与真实场景的度量深度基础模型。通过整合超过200万样本的大规模数据集，并设计包含场景不变与真实感不变标签器的三阶段伪标签优化流程，该工作旨在弥合不同域间的分布差异。模型层面，采用DINOv3-Large作为骨干网络，并引入即插即用的距离掩码头以及以几何一致性和边缘锐度为中心的多重损失函数，显著提升了模型在复杂真实场景下的度量一致性与零样本泛化能力。这一研究不仅推动了全景视觉在机器人导航、环境感知等应用中的实用化进程，也为构建通用型空间几何理解基础模型提供了重要的数据与方法论支撑。

相关研究论文

• Depth Any Panoramas: A Foundation Model for Panoramic Depth Estimation

  Insta360 Research, 加州大学圣地亚哥分校, 武汉大学, 加州大学默塞德分校 · 2025年