卫星图像立体基准数据集

本数据集由普渡大学电气与计算机工程学院创建，旨在为多时相卫星图像的立体重建研究提供支持。数据集包含10个关注区域（AOI）的立体校正图像及其相应的地面实况差异，其中8个AOI来自IARPA的MVS挑战数据集，2个来自CORE3D-Public数据集。数据集主要使用WorldView-3（WV3）图像，UCSD区域则同时使用WV3和WorldView-2（WV2）图像。数据集不仅包括图像，还包含每幅图像的获取日期和时间、相机方位和仰角以及立体对之间的交角等元数据。此外，数据集还提供了建筑物掩码，以确保立体估计的差异在建筑物区域更为可靠。该数据集适用于解决由于季节变化导致的立体匹配难题，并可用于评估立体匹配算法的性能。

This dataset was created by the School of Electrical and Computer Engineering at Purdue University, and is purpose-built to support research on stereo reconstruction of multi-temporal satellite imagery. The dataset contains stereo-corrected images and their corresponding ground-truth disparities for 10 Areas of Interest (AOIs). Of these, 8 AOIs are sourced from the IARPA MVS Challenge Dataset, while the remaining 2 AOIs are taken from the CORE3D-Public Dataset. The dataset primarily utilizes WorldView-3 (WV3) imagery, with the UCSD region additionally employing both WorldView-3 (WV3) and WorldView-2 (WV2) imagery. Beyond the image data, the dataset includes rich metadata such as the acquisition date and time of each image, camera orientation and elevation angle, as well as the intersection angle between stereo pairs. Moreover, the dataset provides building masks to ensure that stereo-estimated disparities exhibit greater reliability within building-covered areas. This dataset can be used to address stereo matching challenges induced by seasonal variations, as well as to evaluate the performance of stereo matching algorithms.

搜集汇总

数据集介绍

构建方式

该数据集的构建主要基于两个来源：IARPA的MVS挑战数据集中的8个AOI（兴趣区域）和CORE3DPublic数据集中的2个AOI。为了生成地面的真实视差，首先从立体对中构建一个融合的DSM（数字表面模型），然后通过将30cm的LiDAR与融合的DSM对齐来生成视差图。此外，该数据集还包括了两个AOI中由人工标注的点进行的定量评估。数据集中使用的图像主要是WorldView-3（WV3）图像，除了UCSD区域，其中使用了WV3和WorldView-2（WV2）图像。

使用方法

使用该数据集的方法主要包括：1）下载数据集并解压；2）根据需要选择适当的AOI和图像对；3）使用数据集中的元数据来了解每个图像的采集时间和相机的角度信息；4）利用建筑掩码来提高视差估计的准确性；5）通过比较算法生成的视差图与数据集中的真实视差图来评估立体匹配算法的性能。

背景与挑战

背景概述

卫星图像立体基准数据集的创建，旨在推动多时相卫星图像立体重建研究。该数据集由Purdue大学电气与计算机工程学院的研究团队Sonali Patil、Bharath Comandur、Tanmay Prakash和Avinash C. Kak于2019年提出。数据集包含来自IARPA的MVS挑战数据集的8个感兴趣区域(AOI)和来自CORE3DPublic数据集的2个AOI的立体校正图像及其对应的地面真实视差。为了确保视差的准确性，研究人员首先构建了一个融合的数字表面模型(DSM)，然后通过与30厘米的激光雷达(LiDAR)数据对齐来验证视差。与现有基准数据集不同，该数据集还利用人类标注的点对两个AOI中的地面真实视差进行了定量评估，并提供了与现有最先进立体数据集相当的校正精度。

当前挑战

卫星图像立体基准数据集面临的挑战主要涉及多时相卫星图像的立体匹配问题。由于卫星图像通常在不同时间和季节记录，因此难以在立体对中找到对应像素的匹配。此外，由于推扫式相机的特性，其极线通常是曲线，而非共轭对，这增加了立体视差计算难度。为了解决这些挑战，研究人员提出了使用建筑掩膜的方法，以标记那些可以期望地面真实视差具有较高准确性的区域。数据集还包括有关每个图像的采集日期和时间、相机的方位角和仰角以及立体对中两个视图的交角等额外元数据。这些元数据有助于分析参数与立体匹配质量之间的相关性。数据集的独特之处在于，研究人员使用人类标注的点对两个AOI中的地面真实视差进行了定量评估，并评估了立体校正的准确性。尽管如此，由于激光雷达值仅以30厘米的分辨率已知，因此视差误差并非亚像素级别。

常用场景

经典使用场景

卫星图像立体基准数据集的经典使用场景主要聚焦于卫星立体图像的三维重建。该数据集提供了10个感兴趣区域（AOIs）的立体校正图像及其地面实况差异，涵盖了从IARPA的MVS挑战数据集和CORE3DPublic数据集中选出的8个和2个AOIs。这些差异是通过首先构建立体对融合的数字表面模型（DSM），然后将30厘米LiDAR与之对齐来地面实况化的。这种数据集对于测试和改进立体匹配算法，特别是在处理多时相卫星图像的挑战性方面，提供了宝贵的资源。

解决学术问题

该数据集解决了卫星图像立体匹配算法研究中长期存在的问题，即缺乏高质量的地面实况数据。通过提供地面实况化的差异图，该数据集为研究者提供了评估和改进其算法的基准。此外，数据集还考虑了多时相卫星图像中的场景内容变化问题，通过提供建筑掩模来指示地面实况差异的可靠性区域，从而帮助研究者更好地理解和解决场景内容变化带来的挑战。

实际应用

卫星图像立体基准数据集在实际应用中具有广泛的应用前景。例如，在灾害响应中，通过使用该数据集进行三维重建，可以快速生成受灾区域的详细地图，从而为救援工作提供决策支持。在城市建设和管理中，该数据集可以帮助规划者更好地理解城市结构，从而优化城市规划。此外，该数据集还可以用于环境监测，通过监测不同时间点的地形变化，可以评估环境变化的影响。

数据集最近研究

最新研究方向

卫星图像立体基准数据集的构建和评估

相关研究论文

• A New Stereo Benchmarking Dataset for Satellite Images

  电气与计算机工程学院，普渡大学 · 2019年