GTAH

GTAH数据集是由慕尼黑工业大学创建的大型合成数据集，包含85,881对高分辨率合成单目航空图像及其对应的像素级高度图。该数据集模拟了复杂的现实世界条件，包括多种高度分布、相机位置、角度、高度、天气类型和一天中的不同时间。GTAH数据集旨在支持跨数据集转移学习研究，特别是在单目高度估计任务中，解决不同城市间的高度分布差异问题，适用于城市规划、自动驾驶和机器人视觉等应用领域。The GTAH dataset is a large-scale synthetic dataset created by the Technical University of Munich. It consists of 85,881 pairs of high-resolution synthetic monocular aerial images and their corresponding pixel-level height maps. This dataset simulates complex real-world conditions, including diverse height distributions, camera positions, angles, altitudes, weather types, and different times of the day. The GTAH dataset is designed to support cross-dataset transfer learning research, particularly for the monocular height estimation task, by addressing the issue of height distribution discrepancies across different cities. It is applicable to application fields such as urban planning, autonomous driving, and robotic vision.

搜集汇总

数据集介绍

构建方式

为了研究单目高度估计模型在不同数据集之间的迁移能力，本文构建了一个名为GTAH的大型合成数据集，并收集了一个名为AHN的真实世界数据集。GTAH数据集包含85,881对合成单目航拍图像及其对应的像素级高度图，图像分辨率为1920×1080。为了模拟复杂的真实世界条件，GTAH数据集考虑了多种成像条件，包括不同的高度分布、相机位置、相机角度、相机高度、天气类型、阴影和不同的拍摄时间。AHN数据集包含10,775对真实单目航拍图像及其对应的像素级高度图，图像分辨率为1024×1024。AHN数据集覆盖了荷兰多个城市的不同场景类型，包括建筑物、农场、森林和水域。

特点

GTAH数据集的特点是包含高分辨率图像和准确的高度信息，以及多种成像条件。这些特点使得GTAH数据集可以促进单目高度估计任务的可迁移表示学习研究。此外，GTAH数据集还涵盖了不同城市的高度分布差异，为研究跨城市领域迁移提供了数据基础。AHN数据集的特点是包含真实世界场景的数据，可以用于评估模型在真实场景下的性能。

使用方法

GTAH数据集和AHN数据集可以用于训练和评估单目高度估计模型。研究者可以使用这些数据集来训练深度学习模型，并通过模型在测试集上的性能来评估模型的有效性。此外，GTAH数据集还可以用于研究跨数据集迁移学习，通过将模型从合成数据集迁移到真实世界数据集来评估模型的泛化能力。

背景与挑战

背景概述

单目高度估计（MHE）对于快速构建3D城市模型至关重要，并为城市化水平提供基本见解。3D城市的几何信息可用于能源需求估计、人口估计、损坏预测等。此外，生成的高度数据还有助于许多具有挑战性的后续研究课题，例如城市规划、自动导航和机器人视觉。然而，现有的工作主要关注使用无偏数据集进行模型的训练和测试，这与现实世界的应用并不完全吻合。因此，我们提出了一个新的基准数据集，以研究跨数据集设置中高度估计模型的迁移性。为此，我们首先设计和构建了一个大规模的基准数据集，用于在高度估计任务上进行跨数据集迁移学习。该基准数据集包括一个新的提出的大规模合成数据集、一个新的收集的真实世界数据集以及来自不同城市的四个现有数据集。接下来，设计了一种新的实验协议，即少样本跨数据集迁移。此外，本文还提出了一种尺度可变形卷积模块，以增强基于窗口的Transformer，用于处理高度估计任务中的尺度变化问题。实验结果表明，所提出的方法在传统和跨数据集迁移设置中均有效。数据集和代码已公开发布。

当前挑战

该数据集相关的挑战包括：1）所解决的领域问题是单目高度估计，即使用单个航拍图像预测地物的3D高度信息；2）构建过程中遇到的挑战包括：a）获取高分辨率遥感图像及其对应地面真实高度值的成本高昂，难以在全球范围内获得；b）不同城市具有特定的城市布局和高度分布，导致严重的跨城市域偏移；c）确保MHE模型在现实世界应用中的性能，需要构建包含各种成像条件的训练数据集，而构建具有不同成像条件的数据集成本高昂且困难。

常用场景

经典使用场景

GTAH数据集的经典使用场景是研究单目高度估计模型在不同数据集之间的迁移能力。该数据集包含了一个新提出的大规模合成数据集和一个新收集的真实世界数据集，以及来自不同城市的四个现有数据集。通过在不同数据集之间进行迁移学习，可以评估模型在不同场景下的泛化能力和鲁棒性，从而提高模型的实际应用价值。

解决学术问题

GTAH数据集解决了现有单目高度估计模型训练数据获取困难的问题。该数据集包含了一个大规模合成数据集，其中包含了在不同成像条件下捕获的高分辨率图像及其相关的像素级高度图。这为研究人员提供了一个丰富多样、易于获取的训练数据集，可以促进单目高度估计模型的研究和应用。

衍生相关工作

GTAH数据集的发布推动了单目高度估计领域的研究进展。基于GTAH数据集，研究人员提出了新的Transformer-based方法，并设计了新的尺度可变形卷积模块，以提高模型在不同数据集之间的迁移能力。此外，该数据集还促进了单目高度估计模型在少样本迁移学习方面的研究，为模型的实际应用提供了新的思路和方法。