WHU数据集

WHU数据集是由武汉大学遥感信息工程学院创建的，旨在支持大规模多视角立体重建任务。该数据集包含1776张虚拟航空图像，每张图像大小为5376×5376像素，覆盖面积约6.7×2.2平方公里。数据集通过精确的3D数字表面模型生成，包含完整的深度信息和相机参数，适用于训练和评估深度学习模型。该数据集特别适用于城市规模的三维重建，有助于解决大规模场景的立体匹配问题。

The WHU Dataset was created by the School of Remote Sensing and Information Engineering, Wuhan University, and is designed to support large-scale multi-view stereo reconstruction tasks. This dataset contains 1776 virtual aerial images, each with a resolution of 5376×5376 pixels, covering an area of approximately 6.7×2.2 square kilometers. It is generated from precise 3D digital surface models, and includes complete depth information and camera parameters, making it suitable for training and evaluating deep learning models. This dataset is particularly applicable for urban-scale 3D reconstruction, and helps address the stereo matching issues in large-scale scenes.

搜集汇总

数据集介绍

构建方式

WHU数据集是通过从数千张真实航空影像中生成的高精度3D数字表面模型（DSM）构建的。这些影像由无人机搭载的五视角倾斜相机拍摄，覆盖了中国贵州省湄潭县约6.7×2.2平方公里的区域。通过软件处理和人工编辑，生成了完整的3D城市场景，并模拟了单镜头相机的成像过程，生成了5376×5376像素的虚拟航空影像。数据集包含1776张虚拟影像及其对应的深度图和相机参数，确保了数据的完整性和准确性。

特点

WHU数据集是目前首个大规模多视角航空影像数据集，覆盖了城市、工厂、山区等多种场景类型。数据集提供了完整的深度图和相机参数，即使在遮挡区域也能保证数据的准确性。此外，数据集还提供了裁剪后的子图像块，便于在单GPU上进行深度学习模型的训练。数据集的高分辨率和多样性使其成为大规模3D城市重建任务的理想选择。

使用方法

WHU数据集可用于训练和评估多视角立体匹配（MVS）算法。数据集提供了完整的训练和测试子集，用户可以直接使用这些子集进行深度学习模型的训练。数据集还提供了多视角和立体子集，便于在单GPU上进行模型训练和推理。通过使用WHU数据集，研究人员可以开发出适用于大规模3D重建的高效算法，并验证其在不同场景下的泛化能力。

背景与挑战

背景概述

WHU数据集是由武汉大学遥感与信息工程学院的研究团队于2020年创建的一个大规模多视角航空影像数据集，旨在解决多视角立体匹配（MVS）任务中的大规模三维城市重建问题。该数据集基于真实航空影像生成，包含数千张高分辨率模拟图像，覆盖面积达6.7×2.2平方公里，并提供了精确的相机参数和地面真实深度图。WHU数据集的创建填补了多视角航空影像基准数据集的空白，为深度学习模型在大规模三维重建中的应用提供了重要支持。该数据集不仅推动了多视角立体匹配技术的发展，还为城市级三维重建提供了高质量的基准数据。

当前挑战

WHU数据集在解决多视角立体匹配问题时面临的主要挑战包括：1）大规模场景下的高精度深度推断问题，传统的深度学习方法在处理大规模航空影像时存在内存消耗大、计算效率低的问题；2）数据集的构建过程中，如何确保模拟影像与真实场景的高度一致性，尤其是在复杂城市环境中，建筑物遮挡、纹理缺失等问题增加了数据生成的难度。此外，数据集的规模和高分辨率特性也对模型的训练和推理提出了更高的计算资源需求，如何在有限的计算资源下实现高效的三维重建是另一个重要挑战。

常用场景

经典使用场景

WHU数据集作为首个大规模多视角航空影像数据集，广泛应用于多视角立体匹配（MVS）任务中，特别是在城市规模的三维重建领域。该数据集通过高精度的三维数字表面模型生成，提供了数千张模拟航空影像及其对应的深度图和相机参数，为深度学习模型的训练和评估提供了坚实的基础。其经典使用场景包括大规模地球表面重建、城市三维建模以及航空影像的深度推断。

衍生相关工作

WHU数据集的发布催生了一系列相关研究工作，特别是在多视角立体匹配和三维重建领域。基于该数据集，研究人员提出了多种深度学习模型，如RED-Net，这些模型在大规模三维重建任务中表现出色。此外，WHU数据集还被用于跨数据集迁移学习研究，证明了其在不同航空影像数据集上的泛化能力。这些工作不仅推动了MVS技术的发展，还为其他相关领域的研究提供了宝贵的参考。

数据集最近研究

最新研究方向

近年来，WHU数据集在遥感与计算机视觉领域的多视角立体匹配（MVS）任务中展现了其独特价值。作为首个大规模多视角航空影像数据集，WHU数据集为城市级三维重建提供了高质量的基准数据。当前研究热点集中在基于深度学习的MVS算法优化与跨数据集迁移学习上。RED-Net等新型网络架构通过引入循环编码-解码结构，显著提升了深度推断的精度与效率，同时降低了计算资源需求。此外，WHU数据集在跨领域应用中的泛化能力也备受关注，研究表明，基于该数据集预训练的模型可直接应用于其他航空影像数据集，且性能优于传统商业软件。这些进展不仅推动了大规模地球表面重建技术的发展，也为深度学习在遥感领域的广泛应用奠定了基础。

相关研究论文

• A Novel Recurrent Encoder-Decoder Structure for Large-Scale Multi-view Stereo Reconstruction from An Open Aerial Dataset

  武汉大学遥感信息工程学院 · 2020年