PanoHK360

PanoHK360是一个用于深度估计的大规模、高分辨率城市全景数据集与基准。该数据集采集自香港密集的城市环境，包含连续行驶序列捕获的户外街景，涵盖街道峡谷、交叉路口、建筑立面等复杂场景。其核心特征在于通过传感器直接测量提供高精度度量深度信息。数据通过集成Teledyne FLIR Ladybug全景相机和RIEGL VUXR-1HA22测绘级激光雷达扫描仪的车载多传感器平台采集，并进行了时间同步，确保RGB图像与几何数据精确对应。数据以等距柱状投影（ERP）格式提供，分辨率高达8000×4000像素（8K）。每个数据帧包含多模态标注：RGB全景图、源自激光雷达投影的度量深度图、表面法线图、原始点云数据以及6自由度相机位姿。深度标注基于真实激光雷达回波数据生成，保证了几何真实性，而非合成渲染或神经网络预测的伪标签。发布版本为“R101 20230413--filter”，以压缩包和可浏览文件夹形式提供，包含逐帧的RGB、深度、法线、位姿和点云文件。该数据集旨在支持全景深度估计模型的即插即用式训练和评估，特别适用于ERP感知架构和360度几何感知方法的研究，同时也适用于3D重建、自动驾驶等计算机视觉任务。数据集采用CC BY 4.0许可协议发布。

PanoHK360 is a large-scale, high-resolution urban panoramic dataset and benchmark for depth estimation. It is collected from the dense urban environment of Hong Kong, containing outdoor street scenes captured in continuous driving sequences, covering complex scenarios such as street canyons, intersections, and building facades. Its core feature lies in providing high-precision metric depth information directly measured by sensors. Data is acquired through a vehicle-mounted multi-sensor platform integrating a Teledyne FLIR Ladybug panoramic camera and a RIEGL VUXR-1HA22 surveying-grade LiDAR scanner, with time synchronization ensuring precise correspondence between RGB images and geometric data. The data is provided in equirectangular projection (ERP) format with a resolution of up to 8000×4000 pixels (8K). Each data frame includes multimodal annotations: RGB panoramic images, metric depth maps derived from LiDAR projection, surface normal maps, raw point cloud data, and 6-degree-of-freedom camera poses. Depth annotations are generated based on real LiDAR echo data, ensuring geometric authenticity rather than synthetic rendering or pseudo-labels from neural network predictions. The release version is R101 20230413--filter, provided in both compressed packages and browsable folders, containing frame-by-frame RGB, depth, normal, pose, and point cloud files. This dataset aims to support plug-and-play training and evaluation for panoramic depth estimation models, particularly suitable for research on ERP perception architectures and 360-degree geometric perception methods, as well as computer vision tasks such as 3D reconstruction and autonomous driving. The dataset is released under the CC BY 4.0 license.

搜集汇总

数据集介绍

构建方式

PanoHK360数据集由搭载于车载平台上的Teledyne FLIR Ladybug全景相机与RIEGL VUXR-1HA22测绘级激光扫描仪协同采集而成。两者通过精密时间同步，实现了8K等距柱状投影RGB图像与高精度LiDAR点云的逐帧几何对齐。数据采集于香港密集的城市街道场景，覆盖连续行驶轨迹，最终经筛选与后处理，形成包含全景图、度量深度、表面法向、点云及六自由度位姿的标准化数据包，并以压缩包形式发布。

使用方法

用户可通过HuggingFace仓库在线浏览或下载压缩包快速获取数据。下载后解压即可得到逐帧组织的RGB图、深度图、法向图、点云与位姿文件。数据集设计即插即用，可直接接入现有全景深度估计模型的数据加载流程，亦支持ERP感知架构与360度几何感知方法的训练与评估。具体使用方式可参照仓库中的快速开始指南与文件说明表。

背景与挑战

背景概述

全景深度估计是计算机视觉与自主导航领域的关键技术，其目标是赋予机器在360度视野中感知三维几何结构的能力。然而，现有数据集多局限于有限场景或通过合成手段生成，难以反映真实城市环境的复杂性与多样性。PanoHK360正是在这一背景下应运而生——该数据集由匿名研究团队于2026年发布，旨在填补大规模、高分辨率、真实世界全景深度数据的空白。数据集依托香港密集的城市街道网络，采用车载多传感器系统采集，涵盖了8000×4000像素的超高分辨率RGB全景图，并配备由测绘级LiDAR直接生成的度量深度、表面法向量、原始点云及六自由度位姿信息。PanoHK360的核心研究问题在于：能否通过传感器直接测量的方式，构建一个兼具尺度精度与场景广度的基准，从而推动全景深度估计从半合成过渡到真实物理世界。该数据集一经推出，便为360度几何感知、三维重建及自动驾驶等方向提供了至关重要的训练与评估平台。

当前挑战

PanoHK360所解决的领域挑战集中体现在全景深度估计的真实性与泛化性上。以往方法多依赖合成数据（如Matterport3D）或低分辨率深度传感器，导致模型在真实城市峡谷、玻璃幕墙反射以及动态遮挡等场景中性能急剧下降。该数据集的构建本身亦面临严苛挑战：首先，在移动平台上同时实现8K全景相机与测绘级LiDAR的亚毫秒级时间同步，技术上极具难度；其次，面对香港复杂的城市环境，如何过滤移动车辆、行人及树木等动态要素对点云投影的污染，构建纯净的深度真值；再者，海量超高分辨率数据（每帧8000×4000像素）对存储、读取效率及网络精度提出了前所未有的要求。PanoHK360通过严格筛选、物理级对齐和公开化的数据管线，成功跨越了这些障碍，为全景深度感知提供了可复现、高置信度的基准。

常用场景

经典使用场景

PanoHK360数据集专为全景深度估计任务而设计，其核心应用场景在于为全向视觉感知模型提供真实、高精度的训练与评测基准。凭借8000×4000像素的等距柱状投影全景图像以及由测绘级LiDAR直接测量的度量深度图，该数据集能够有效支撑360°环境下的单目深度估计、表面法线预测以及点云重建等经典研究任务。与依赖合成数据或伪标签的方法不同，PanoHK360的真实传感器对齐特性使其成为验证全景感知算法在城市复杂场景中泛化能力的理想平台。

解决学术问题

在学术研究层面，PanoHK360解决了户外大尺度全景场景中缺乏真实度量深度标注的核心瓶颈问题。此前的全景深度数据集多局限于室内或小范围环境，且深度标注常依赖算法预测或模拟器生成，导致模型在真实城市场景中的可靠性不足。该数据集通过高精度传感器同步方案，提供了香港密集城区连续驾驶序列中的稠密RGB-D数据，使研究者能够深入探索街道峡谷、复杂遮挡和动态光照等挑战性条件下的几何感知机制，推动了全景深度估计从封闭测试迈向城市级真实评估的范式转变。

实际应用

在实际应用层面，PanoHK360为自动驾驶、智能导航和城市数字孪生等终端任务提供了关键数据支撑。以自动驾驶为例，车辆在复杂城市环境中需要实时理解360°范围内的障碍物距离、路面结构及交通参与者的空间位置，该数据集的LiDAR度量深度可直接用于训练和验证全景深度感知模型，提升系统在路口、高架桥等关键场景下的环境感知鲁棒性。此外，其连续序列的特性也适用于同步定位与地图构建任务，助力移动机器人实现更稳定的城市级定位与三维重建。

数据集最近研究

最新研究方向

PanoHK360的发布标志着全景深度估计领域迈入真实世界大规模基准测试的新阶段。该数据集以香港密集城市场景为背景，利用车载多传感器平台同步采集8K等距柱状投影全景RGB图像与高精度激光雷达点云，提供了度量级深度、表面法向、六自由度位姿等多模态标注，彻底摒弃了合成数据或伪标签的局限。当前前沿研究正聚焦于利用此类真实传感器对齐的全景数据，攻克城市街谷、复杂遮挡与多类建筑立面带来的几何感知挑战，推动面向自动驾驶与三维重建的全景深度网络从室内受限环境向户外大规模部署演进。其提供的连续驾驶序列与基准接口，有望成为评估等矩形投影感知架构及360度几何理解方法的权威标杆。