WHU-Stereo

WHU-Stereo是由武汉大学创建的一个用于高分辨率卫星图像立体匹配的挑战性数据集。该数据集包含超过1700对经过校正的图像对，覆盖中国六个地区，涵盖多种地形和景观。数据集的创建过程中，使用了航空LiDAR点云和GF-7卫星的高分辨率立体图像，通过提出的一种遮挡移除技术来生成高质量的地面真值视差图。WHU-Stereo数据集旨在解决立体匹配中的挑战，特别是在遮挡和精度方面的挑战，适用于深度学习模型的训练和测试，以及作为评估模型性能的基准。WHU-Stereo is a challenging dataset developed by Wuhan University for high-resolution satellite image stereo matching. It contains over 1,700 rectified stereo image pairs, covering six regions across China and encompassing diverse terrains and landscapes. During the dataset's development, airborne LiDAR point clouds and high-resolution stereo images from the GF-7 satellite were used, and a proposed occlusion removal technique was applied to generate high-quality ground-truth disparity maps. The WHU-Stereo dataset is designed to address key challenges in stereo matching, particularly those associated with occlusion and accuracy, and is suitable for training and testing deep learning models, as well as serving as a benchmark for evaluating model performance.

搜集汇总

数据集介绍

构建方式

WHU-Stereo数据集的构建采用了高分辨率卫星影像和机载激光雷达点云数据。首先，通过地面控制点对激光雷达点云进行配准，以补偿RPC模型误差。随后，使用开源软件OpenRS生成极线校正立体影像对。接着，利用激光雷达点云和RPC模型将点云投影到影像平面，并使用相关性系数过滤器去除遮挡点。最后，生成包含超过1700对极线校正影像对和地面真实视差图的数据集。

使用方法

WHU-Stereo数据集可用于立体匹配深度学习网络的训练和测试。研究人员可以使用该数据集评估和比较不同立体匹配算法的性能，并探究深度学习模型的地理泛化能力和迁移学习策略。数据集分为训练集、验证集和测试集，方便研究人员进行实验。

背景与挑战

背景概述

高分辨率卫星图像立体匹配是摄影测量和遥感领域的一项基础但具有挑战性的任务。随着深度学习技术的发展，尤其是卷积神经网络（CNNs）在公共基准数据集上的表现，立体匹配模型在卫星图像领域的应用日益增多。然而，卫星图像立体匹配的数据集稀缺，严重阻碍了该领域深度学习技术的研发和应用。为了促进进一步研究，本文创建并发布了一个名为WHU-Stereo的具有挑战性的数据集，用于立体匹配深度学习网络训练和测试。该数据集使用来自中国高分7号卫星（GF-7）的机载激光雷达点云和高分辨率立体图像创建，涵盖了六个中国地区的各种景观。为了生成地面真实视差图，必须认真考虑遮挡，因为它们通常会导致标签的困难和精度下降。为了解决这个问题，本研究提出了一种遮挡去除技术，该技术可以适应不同密度的点云，并在训练数据准备方面显示出巨大的潜力。WHU-Stereo数据集包含超过1700对对极校正图像，并已评估地面真实视差图的精度，证明了该数据集与现有最先进的立体匹配数据集相比具有可比的精度。为了验证其可行性，在实验中，在WHU-Stereo数据集上测试了手工制作的SGM立体匹配算法和最新的深度学习网络。实验结果表明，深度学习网络可以很好地训练，并比手工制作的SGM算法具有更高的性能，该数据集在遥感应用中具有巨大的潜力。WHU-Stereo数据集可以作为高分辨率卫星图像立体匹配的挑战性基准，以及深度学习模型的性能评估。

当前挑战

WHU-Stereo数据集在构建过程中面临的主要挑战包括：1) 创建高质量的地面真实视差图，需要解决遮挡问题，因为遮挡通常会导致标签的困难和精度下降。为了解决这个问题，本研究提出了一种遮挡去除技术，可以适应不同密度的点云，并在训练数据准备方面显示出巨大的潜力。2) 由于点云在图像上分布不均匀，需要去除裁剪图像中不完整的视差图。3) 深度学习模型在测试未见的城市图像时，其准确率有所下降，表明模型在地理泛化方面仍需改进。为了解决这个问题，本研究采用迁移学习策略，利用US3D数据集进行预训练，并在WHU-Stereo数据集上进行微调，结果表明微调后的模型性能有所提高。

常用场景

经典使用场景

在遥感领域，立体匹配技术是构建地表三维模型的关键步骤。WHU-Stereo数据集因其高分辨率和高精度的特性，成为立体匹配深度学习模型训练和测试的理想选择。该数据集包含超过1700对经过极线校正的图像对，覆盖中国六个地区的各种景观，包括城市、山区、平原和水域。这使得WHU-Stereo成为评估立体匹配算法性能和泛化能力的重要基准。

解决学术问题

WHU-Stereo数据集的发布解决了遥感领域立体匹配数据集稀缺的问题，为深度学习技术在立体匹配中的应用提供了丰富的训练数据。此外，该数据集提出了一个包含遮挡去除技术的流程，用于从机载激光雷达点云中生成高精度的真实视差图，有效提高了训练数据的质量。通过对比实验，WHU-Stereo数据集在精度上与现有的最先进的立体匹配数据集相当，为遥感领域的立体匹配研究提供了强有力的支持。

实际应用

WHU-Stereo数据集的实际应用场景广泛，包括城市规模的三维建筑模型重建、国家规模场景的详细重建等。该数据集支持的研究成果可应用于城市规划、灾害评估、环境监测等领域。例如，通过WHU-Stereo训练的深度学习模型可以用于快速生成高精度的视差图，进而用于城市三维建模，为城市规划提供数据支持。

数据集最近研究

最新研究方向

WHU-Stereo数据集的最新研究方向主要集中在深度学习技术在卫星图像立体匹配中的应用。随着深度学习模型的不断发展，特别是卷积神经网络（CNNs）的广泛应用，WHU-Stereo数据集为研究者提供了一个高质量的训练和测试平台。研究者们正在探索如何利用WHU-Stereo数据集训练出能够准确处理高分辨率卫星图像立体匹配问题的深度学习模型，以及如何通过迁移学习等技术提升模型在不同地区和场景下的泛化能力。此外，研究者们也在探索如何利用WHU-Stereo数据集进行卫星图像的深度信息提取和三维重建等应用。

相关研究论文

• WHU-Stereo: A Challenging Benchmark for Stereo Matching of High-Resolution Satellite Images

  武汉大学 · 2022年