Zeitview Rooftop Geometry (ZRG) 数据集

ZRG数据集是由德克萨斯大学圣安东尼奥分校和Zeitview合作创建的大规模住宅屋顶理解数据集，包含超过20,000个美国住宅物业的屋顶检查数据。数据集内容丰富，包括高分辨率RGB正交马赛克、数字表面模型（DSM）、3D屋顶几何线框和3D彩色点云。创建过程涉及使用高分辨率相机无人机进行系统化数据采集和后处理，生成高精度地理参考正交马赛克和DSM。该数据集主要应用于自动化屋顶分析，如屋顶轮廓提取、单目高度估计和平面屋顶结构提取，旨在提高屋顶检查的效率和准确性，降低人工成本。

The ZRG Dataset is a large-scale residential roof understanding dataset jointly created by The University of Texas at San Antonio and Zeitview. It contains roof inspection data for over 20,000 residential properties across the United States. The dataset features rich content, including high-resolution RGB orthomosaics, Digital Surface Models (DSM), 3D roof geometric wireframes, and 3D colored point clouds. Its creation involves systematic data collection and post-processing using high-resolution camera-equipped drones, generating high-precision georeferenced orthomosaics and DSMs. This dataset is primarily applied in automated roof analysis tasks, such as roof outline extraction, monocular height estimation, and flat roof structure extraction, aiming to enhance the efficiency and accuracy of roof inspections and reduce labor costs.

搜集汇总

数据集介绍

构建方式

在住宅屋顶几何理解领域，ZRG数据集的构建体现了多模态数据采集与精细化标注的深度融合。该数据集通过搭载高分辨率相机的商用无人机，以系统化的飞行模式对全美超过两万处住宅物业进行屋顶巡检，采集多角度倾斜影像。随后，利用多视图三维重建技术，将原始影像拼接并地理配准，生成亚厘米级分辨率的RGB正射影像、数字表面模型及彩色点云。在标注环节，由领域专家团队借助定制工具，为每个屋顶面标注三维多边形线框，并记录18类边缘类型及表面积等元数据，最终形成包含425,660个标注面的高质量数据集。

特点

ZRG数据集在住宅屋顶分析领域展现出显著的多模态与高分辨率特性。其数据涵盖RGB正射影像、数字表面模型、彩色点云及三维线框标注，提供了从二维视觉到三维几何的完整信息层次。与现有数据集相比，ZRG不仅规模庞大，覆盖两万余处物业，且空间分辨率低于一厘米，能够支持精细的屋顶结构解析。数据集还包含按地理分布加权采样的子集，如ZRG-Test、ZRG-10k等，增强了实验的可复现性与地理多样性。这些特点使其在屋顶损伤检测、太阳能潜力评估等应用中具备独特优势。

使用方法

ZRG数据集为计算机视觉任务提供了多用途的实验平台。研究者可利用其多模态数据开展屋顶轮廓提取、单目高度估计及平面屋顶结构分割等基线任务。例如，在屋顶轮廓提取中，可将任务建模为二值分割问题，采用U-Net、DeepLabV3+等架构进行训练；高度估计则可通过密集回归方法，结合归一化的数字表面模型实现像素级预测。数据集中提供的子集划分便于模型训练与评估，同时标注的三维线框可用于驱动三维重建与数字孪生应用。数据已公开，支持后续研究在屋顶类型分类、区域泛化分析等方向的拓展。

背景与挑战

背景概述

随着无人机技术的普及与计算机视觉的进步，住宅屋顶的自动化分析成为建筑维护与可再生能源评估的关键领域。Zeitview Rooftop Geometry (ZRG) 数据集由德克萨斯大学圣安东尼奥分校与Zeitview公司于2023年联合创建，旨在通过多模态数据推动三维屋顶结构理解的研究。该数据集涵盖超过两万处美国住宅物业，提供高分辨率RGB正射影像、数字表面模型、彩色点云及三维线框标注，核心研究问题聚焦于屋顶轮廓提取、单目高度估计与平面屋顶结构解析，为屋顶损伤检测、太阳能潜力评估及数字孪生建模等应用奠定了数据基础，显著提升了住宅屋顶几何分析的精度与效率。

当前挑战

在住宅屋顶理解领域，现有数据集常面临模态单一、分辨率不足或合成数据导致的真实场景泛化能力弱等挑战。ZRG数据集构建过程中，数据采集受限于无人机视野，部分场景边缘信息缺失，导致正射影像中存在无效像素；自然因素如植被遮挡与阴影增加了屋顶结构学习的复杂性。此外，标注工作依赖领域专家进行精细的三维线框标注，需处理大量异构数据并确保几何一致性，这些因素共同构成了数据集构建与应用中的主要挑战。

常用场景

经典使用场景

在计算机视觉与遥感领域，Zeitview Rooftop Geometry (ZRG) 数据集为住宅屋顶的几何结构理解提供了多模态基准。该数据集通过高分辨率RGB正射影像、数字表面模型、彩色点云及三维屋顶线框标注，支持屋顶轮廓提取、单目高度估计和平面屋顶结构提取等经典任务。这些任务共同构成了自动化屋顶分析的核心框架，为后续的屋顶损伤评估、太阳能潜力分析等应用奠定了坚实基础。

衍生相关工作

基于 ZRG 数据集，研究者们已开展了多项经典工作，包括利用 U-Net、DeepLabV3+ 等架构进行屋顶轮廓分割，以及采用 Mask R-CNN 进行平面屋顶实例分割。这些工作不仅验证了数据集在多任务学习中的有效性，还启发了结合图神经网络进行屋顶线框生成、以及利用神经辐射场进行三维重建等前沿方向，推动了住宅屋顶理解技术的持续演进。

数据集最近研究

最新研究方向

在计算机视觉与遥感领域，ZRG数据集正推动住宅屋顶三维理解的前沿研究。该数据集凭借其大规模、高分辨率及多模态特性，为屋顶损伤检测、太阳能潜力评估及数字孪生等应用提供了关键数据支撑。当前研究聚焦于结合深度学习模型，如Mask R-CNN与图神经网络，实现从单目图像中精确提取屋顶平面结构，并探索神经辐射场技术以提升三维重建的真实感。这些进展不仅优化了自动化屋顶分析的精度，也为应对气候变化下的能源转型与灾害响应提供了技术基础。

相关研究论文

• ZRG: A Dataset for Multimodal 3D Residential Rooftop Understanding

  德克萨斯大学圣安东尼奥分校 · 2023年