ZuriPano

ZüriPano是一个真实世界的户外全景深度基准数据集，专为评估长距离户外全景深度估计任务而设计。该数据集使用Leica RTC360 LiDAR扫描仪捕获，具备8K分辨率、130米有效范围，并采用HDR和自动双重扫描技术以消除瞬态遮挡。数据集包含100个等距柱状投影全景图，覆盖瑞士苏黎世11个不同的城市地点，每个全景图均配有一个密集的度量深度图和一个有效性掩码。数据集仅提供测试分割，包含100个样本，每个样本由id（样本标识符，格式为“<地点>-s<编号>”）、rgb（8位RGB图像，JPG编码，分辨率为4096×2048）、depth（16位单通道PNG深度图，分辨率为2048×4096，可通过缩放因子转换为以米为单位的浮点值）和mask（8位单通道PNG掩码，指示像素的可靠性，True表示可靠像素，False表示天空、无返回或镜面表面等无效区域）四个核心字段组成。该数据集适用于全景深度估计模型的性能评估，使用时需在计算深度指标前应用掩码以确保准确性。数据集采用CC BY-4.0许可证发布，允许自由使用和改编，但需注明作者和数据集来源。ZüriPano is a real-world outdoor panoramic depth benchmark dataset, specifically designed for evaluating long-range outdoor panoramic depth estimation tasks. The dataset is captured using a Leica RTC360 LiDAR scanner, featuring 8K resolution, a 130-meter effective range, and employs HDR and automatic double-scanning techniques to eliminate transient occlusions. It contains 100 equirectangular projection panoramic images, covering 11 different urban locations in Zurich, Switzerland, with each panoramic image accompanied by a dense metric depth map and a validity mask. The dataset only provides a test split, consisting of 100 samples, each comprising four core fields: id (sample identifier in the format "<location>-s<number>"), rgb (8-bit RGB image, JPG-encoded with a resolution of 4096 × 2048), depth (16-bit single-channel PNG depth map with a resolution of 2048 × 4096, convertible to floating-point values in meters via a scaling factor), and mask (8-bit single-channel PNG mask indicating pixel reliability, where True represents reliable pixels and False indicates invalid regions such as sky, no-return, or specular surfaces). This dataset is suitable for performance evaluation of panoramic depth estimation models, and the mask must be applied before computing depth metrics to ensure accuracy. It is released under the CC BY-4.0 license, allowing free use and adaptation with attribution to the authors and dataset source.

原始信息汇总

数据集概述：ZüriPano

ZüriPano 是一个真实世界的户外全景深度基准数据集，由 Leica RTC360 LiDAR 扫描仪采集，提供高精度深度信息。该数据集专门用于评估户外长距离全景深度估计方法，是 PaGeR 项目的户外评估基准。

• 许可协议： Creative Commons Attribution 4.0 International (CC BY-4.0)
• 任务类别： 深度估计
• 标签： 全景、深度、激光雷达、户外、等距柱状投影、360度
• 数据集大小： 少于1000个样本
• 配置： 仅包含一个 default 配置，数据文件位于 data/test-*

数据集详情

• 内容： 包含100个户外扫描，覆盖苏黎世11个城市场景，仅用于评估。
• 模态：
  • RGB： JPG 格式，8位等距柱状投影图像。
  • 深度： 16位 PNG 格式，通过缩放因子转换为米。
  • 有效性掩码： 8位 PNG 格式，标记可靠像素。
  • 深度可视化： 8位 Spectral 色彩映射 RGB PNG，仅用于预览，不应用于计算指标或训练。
• 分辨率： 4096 × 2048 等距柱状投影（ERP）。
• 用途： 评估户外长距离全景深度估计算法。

数据结构

数据集包含一个名为 test 的拆分，共100行数据。每行包含以下字段：

列名	类型	描述
id	string	样本ID，格式为 <位置>- s<编号>。
rgb	Image	8位等距柱状投影 RGB 图像（4096 × 2048，JPG 编码）。
depth	Image	16位单通道 PNG，尺寸为 (2048, 4096)。解码为米：np.asarray(img, dtype=np.float32) * (200.0 / 65535.0)。无效像素值为 0.0。
depth_viz	Image	8位 RGB PNG，使用 Spectral 色彩映射的对数深度图。仅用于预览，请勿用于指标计算或训练。
mask	Image	8位单通道 PNG，尺寸为 (2048, 4096)。解码为布尔值：255 表示 True。True 表示可靠像素，False 表示天空、无回波或镜面表面。

使用示例

python import numpy as np from datasets import load_dataset

ds = load_dataset("prs-eth/ZuriPano", split="test") sample = ds[0]

rgb = sample["rgb"] # PIL.Image, (W=4096, H=2048) depth = np.asarray(sample["depth"], dtype=np.float32) * (200.0 / 65535.0) # (2048, 4096) float32, meters mask = np.asarray(sample["mask"], dtype=bool) # (2048, 4096) bool

在计算深度指标前务必应用掩码

valid_depth = depth[mask]

相关链接

• GitHub 仓库： https://github.com/prs-eth/PaGeR
• 项目网站： https://pager360.github.io/
• Hugging Face 集合： https://huggingface.co/collections/prs-eth/pager

搜集汇总

数据集介绍

构建方式

ZüriPano是一个面向室外全景深度估计的真实世界基准数据集。其数据采集依托于Leica RTC360激光扫描仪，该设备具备8K分辨率捕获能力、130米有效测距范围，并采用HDR与自动双重扫描技术以消除瞬态遮挡。数据集涵盖了苏黎世11个城市地点的100张等矩形全景图像，每一张全景均配有密集的度量深度图以及有效性掩码，为室外全景深度估计提供了高精度的真实标注。

使用方法

使用ZüriPano时，可通过Hugging Face的datasets库直接加载。用户需要分别读取RGB图像、深度图和掩码，其中深度图需通过公式`np.asarray(img, dtype=np.float32) * (200.0 / 65535.0)`转换为以米为单位的浮点数值，掩码则需转换为布尔类型。在计算深度评估指标前，务必应用掩码过滤无效像素，以确保评估结果的准确性与可靠性。

背景与挑战

背景概述

ZüriPano数据集由苏黎世联邦理工学院（ETH Zurich）的PaGeR项目团队创建，于2024年公开发布，旨在解决户外全景深度估计领域缺乏真实场景基准的困境。该数据集利用Leica RTC360激光扫描仪在苏黎世11个城市场景中采集了100张高分辨率（4096×2048）等距柱状投影全景图，每张图像均配备高精度度量深度图和有效像素掩膜。作为PaGeR方法的户外评估基准，ZüriPano填补了现有全景深度数据集多局限于室内或合成环境的空白，为长距离、复杂光照和动态遮挡的真实世界全景深度估计算法提供了可靠的验证平台，对推动自动驾驶、机器人导航和三维重建等领域的研究具有重要价值。

当前挑战

ZüriPano数据集所解决的核心领域挑战是户外全景深度估计的复杂性问题，即如何在广阔城市空间中应对长距离（有效范围130米）、高动态光照（HDR）、瞬态遮挡（如行人、车辆）以及玻璃等镜面表面对雷达信号干扰等难题。在数据集构建过程中，团队面临多重技术挑战：一是需采用自动化双扫描流程去除瞬态遮挡物以确保深度真值的准确性；二是需要精确校准RGB相机与LiDAR传感器之间的坐标变换，生成无几何畸变的等距柱状投影深度图；三是需要人工判别并掩膜天空、无回波区域及玻璃幕墙等不可靠像素，以构建有效像素掩膜，确保基准评估的公平性。

常用场景

经典使用场景

ZüriPano数据集专为室外全景深度估计任务而生，其核心应用在于评估和验证全景深度估计算法的性能。该数据集包含100张由Leica RTC360激光扫描仪捕获的等距柱状投影全景图，覆盖苏黎世11个城市场景，每张图像均配有高精度度量深度图和有效性掩码。研究者常利用该数据集作为基准测试平台，衡量模型在长距离、复杂室外环境下的深度预测精度，尤其关注全景图像中天空、玻璃幕墙等难以处理的区域。深度图以16位PNG格式存储，通过缩放因子转换为米制单位，确保评估的客观性与可重复性。

解决学术问题

ZüriPano数据集解决了室外全景深度估计领域缺乏真实、高精度、多样本评测基准的学术难题。此前，大多数全景深度数据集或依赖于合成数据，或局限于室内场景，难以反映真实室外环境的复杂性。该数据集的问世，使研究者得以系统性地评估算法在长距离（可达130米）、动态光照、多材质表面以及遮挡条件下的鲁棒性。其有效性掩码机制剔除了天空、无回波区域及高反光表面（如玻璃幕墙），为精确度量深度估计误差提供了可靠保障，推动了全景深度估计从理论走向实证研究，提升了领域结论的可信度与可复现性。

实际应用

在实际应用中，ZüriPano数据集驱动的全景深度估计技术可赋能自动驾驶、机器人导航、增强现实（AR）和智慧城市等领域。例如，在自动驾驶中，高精度的全景深度信息能帮助车辆精准感知周围环境，尤其适用于十字路口、地下停车场等复杂场景下的距离估计与障碍物检测。在机器人探索任务中，全景深度图可提供360度无死角的场景理解，提升避障与路径规划的稳定性。此外，AR设备利用该技术可实现虚拟物体与现实世界的精准融合，增强用户体验。ZüriPano所倡导的室外真实场景评测标准，也为上述应用提供了可靠的算法验证与比选依据。

数据集最近研究

最新研究方向

ZüriPano数据集聚焦于真实室外全景深度估计这一前沿方向，通过配备高精度Leica RTC360 LiDAR扫描仪，在苏黎世11个城市区域采集了100张等距柱状全景图，为长距离、复杂光照下的全景深度预测提供了严苛的评估基准。该数据集与PaGeR方法紧密关联，致力于解决全景图像中因畸变、动态遮挡和远距离稀疏信号带来的深度估计挑战，推动了面向360°环境感知的自监督与度量学习范式。其精细的度量深度图、精确的有效性掩码以及独特的动态遮挡移除流程，为自动驾驶、机器人导航和增强现实等实时空间理解应用树立了全新的评价标尺，促使研究者聚焦于提升模型在大尺度户外场景中的鲁棒性与泛化性能。