adadai3132/PanoHK360

PanoHK360是一个大规模8K城市全景数据集和深度估计基准。该数据集采集于香港的密集城市环境，使用车载多传感器平台（包括Teledyne FLIR Ladybug全景相机和RIEGL VUXR-1HA22测量级激光雷达）同步捕获。数据以等距柱状投影格式提供，分辨率为8000×4000像素。每个帧包含RGB全景图、基于激光雷达的度量深度图、表面法线、原始点云和6自由度相机位姿。深度数据直接来源于激光雷达测量，确保了几何保真度。数据集涵盖连续的户外驾驶序列，包含多样的街道峡谷、交叉路口、建筑立面等复杂场景，适用于深度估计、几何感知和3D重建等计算机视觉任务。数据集已结构化，便于全景深度估计模型的即插即用训练和评估。PanoHK360 is a large-scale 8K urban panoramic dataset and benchmark for depth estimation. It is captured in dense urban Hong Kong with a vehicle-mounted multi-sensor rig combining a panoramic camera and a survey-grade LiDAR scanner. The data are provided in equirectangular projection format at 8000×4000 resolution. Each frame includes RGB panorama, metric depth derived from LiDAR, surface normals, raw point cloud, and 6-DoF camera pose. Depth annotations are measured directly from LiDAR returns, ensuring geometric faithfulness. The dataset covers continuous outdoor driving sequences with diverse street canyons, intersections, façades, and complex occlusions, suitable for depth estimation, geometric perception, and 3D reconstruction tasks in computer vision. The release is structured for plug-and-play training and evaluation of panoramic depth-estimation models.

搜集汇总

数据集介绍

构建方式

PanoHK360数据集依托车载多传感器平台构建，集成了Teledyne FLIR Ladybug全景相机与RIEGL VUXR-1HA22测绘级激光雷达。在城市街道行驶过程中，通过时间同步实现逐帧的RGB全景图像与激光雷达点云精确配准，将LiDAR返回的度量深度直接投影至8K等距柱状投影图像，从而生成每个像素均源自实测的深度图。同步采集的表面法线、6自由度相机位姿与原始点云数据，共同构成了多模态标注体系。

使用方法

用户可通过Hugging Face平台克隆仓库，直接在线浏览已过滤的数据文件夹，或下载压缩包（约2.77 GB）至本地。解压后，逐帧级别的RGB全景图、深度图、法线图、点云与位姿文件可直接导入数据加载器，适配多种全景深度估计模型与360°几何感知架构。数据集设计为即插即用，支持直接训练与评估，无需额外预处理步骤。

背景与挑战

背景概述

深度学习在三维感知领域的迅猛发展催生了对高质量、大规模全景深度估计数据集的迫切需求。PanoHK360正是在这一背景下诞生，由匿名研究团队于2026年发布，旨在填补城市级户外全景场景中传感器级度量深度数据的空白。该数据集依托香港密集的城市环境，利用车载平台搭载Teledyne FLIR Ladybug全景相机与RIEGL VUXR-1HA22测绘级LiDAR，同步采集了8000×4000像素的8K等距柱状投影RGB图像及对应的度量深度、表面法向、点云与六自由度位姿。其核心研究问题在于为360度几何感知提供真实、精准的基准，推动深度估计算法在自动驾驶、三维重建等领域的泛化能力与鲁棒性提升。作为首个公开的大规模8K城市全景深度估计基准，PanoHK360凭借其传感器实测而非合成或伪标签的深度信息，对领域内后续研究具有奠基性影响力。

当前挑战

PanoHK360所解决的领域问题主要聚焦于全景深度估计中的两大核心挑战：一是城市户外场景的几何复杂性，密集的街道峡谷、交叉路口与建筑立面导致遮挡频繁、深度突变剧烈，给基于单一RGB图像重建三维结构带来显著困难；二是现有数据集多依赖合成数据或弱监督方法，缺乏与真实几何精确对齐的大规模度量深度标注。在构建过程中，研究团队面临严苛的工程挑战，包括高精度时间同步车载多传感器系统、将海量LiDAR点云投影至8K全景画幅并保证像素级对齐，以及从连续城市轨迹中筛选高质量帧并过滤动态物体引发的噪声。此外，8K超高分辨率数据带来了存储、传输与处理的效率瓶颈，需在保真度与可用性间寻求平衡。

常用场景

经典使用场景

PanoHK360数据集的核心应用场景在于全景深度估计，尤其适用于城市户外环境的度量深度预测任务。该数据集提供了8000×4000分辨率的8K等距柱状投影全景图像，并配合同步采集的测绘级激光雷达点云，生成了精确的度量深度图。研究者可基于此训练和评估面向全景图的深度估计模型，例如利用ERP感知的神经网络架构或360°几何感知方法，从而在稠密城市场景中实现高精度的深度推理。

解决学术问题

该数据集解决了全景深度估计领域中长期存在的真实度量深度标注匮乏问题。以往的数据集多依赖合成渲染或教师网络生成的伪标签，缺乏传感器层面的几何真实感。PanoHK360通过时间同步的车载多传感器平台，直接采集了香港城市场景的RGB全景图与测绘级激光雷达的度量深度对应关系，为研究复杂街谷、交叉口、建筑立面遮挡等场景下的几何感知提供了基准。这一真实标注推动了对全景图像几何一致性建模的深入探索。

实际应用

在实际应用中，PanoHK360所支撑的全景深度估计技术对自动驾驶、机器人导航和城市三维重建领域具有重要价值。对于自动驾驶车辆而言，车载全景相机配合激光雷达可实现对周围环境的360°无死角感知，其度量深度信息有助于车道保持、障碍物检测和路径规划。同时，在机器人巡检或无人机测绘场景中，基于该数据集训练的模型能够在复杂城市环境中输出可靠的深度估计，为实时避障和三维地图构建提供关键输入。

数据集最近研究

最新研究方向

面向城市级场景的全景深度估计是当前计算机视觉与自动驾驶领域的研究热点之一。PanoHK360作为首个在真实城市环境（香港）中利用测量级LiDAR与8K全景相机同步采集的大规模基准数据集，为克服现有深度估计数据集依赖合成数据或伪标签的局限提供了关键资源。该数据集通过提供密集的度量深度、表面法线、点云与六自由度位姿，直接支撑了基于等距柱状投影（ERP）的全景感知模型训练与评估，推动了城市街道峡谷、复杂遮挡及动态交通场景下几何感知算法的发展。尤其在自动驾驶与三维重建的前沿探索中，PanoHK360填补了高分辨率、多模态、传感器级精度的室外全景深度基准空白，其发布将显著促进深度估计从仿真环境向真实世界泛化的研究进程。