Planet-CR

Planet-CR是由武汉大学电子信息学院和慕尼黑工业大学联合创建的高分辨率云去除基准数据集。该数据集包含全球范围内的高分辨率光学观测数据，以及配套的雷达测量和像素级土地覆盖注释，旨在为高分辨率光学遥感图像中的云去除问题提供全面评估的基础。Planet-CR数据集通过融合多模态和多分辨率信息，解决了现有基于多模态数据融合方法在图像对像素对齐假设上的不足。此外，该数据集还包含了来自WorldCover产品的土地覆盖信息，有助于验证云去除方法在生成语义上有意义结构的有效性。Planet-CR数据集的应用领域主要集中在高分辨率光学遥感图像的云去除，旨在解决由于云层遮挡导致的地表信息缺失问题，为环境监测和地球观测提供清晰图像。

Planet-CR is a high-resolution cloud removal benchmark dataset jointly created by the School of Electronic Information, Wuhan University and the Technical University of Munich. This dataset contains global high-resolution optical observation data, paired with radar measurements and pixel-level land cover annotations, aiming to provide a comprehensive evaluation foundation for cloud removal tasks in high-resolution optical remote sensing images. Planet-CR addresses the limitations of existing multimodal data fusion-based methods regarding the pixel alignment assumption across image pairs by fusing multimodal and multi-resolution information. Additionally, the dataset includes land cover information sourced from the WorldCover product, which helps verify the effectiveness of cloud removal methods in generating semantically meaningful structures. The main application scenarios of Planet-CR focus on cloud removal for high-resolution optical remote sensing images, aiming to solve the problem of surface information loss caused by cloud occlusion and provide clear imagery for environmental monitoring and Earth observation.

搜集汇总

数据集介绍

构建方式

Planet-CR数据集的构建旨在解决高分辨率光学遥感影像中云去除的问题。该数据集融合了多模态和多分辨率数据，包括高分辨率的光学观测数据、配对的雷达测量数据以及像素级的土地覆盖注释。光学数据来自Planet卫星影像，具有3米的分辨率，而雷达数据来自Sentinel-1卫星，具有10米的分辨率。土地覆盖注释来自WorldCover产品，为6种基本土地覆盖类型提供了像素级的注释。数据集包括780个非重叠的AOI，分布在全球各地，每个AOI包含一对正射校正、地理参考的云和无云光学图像，以及相应的SAR图像和土地覆盖图。数据集被分为训练集和测试集，以允许与其他工作直接比较。

特点

Planet-CR数据集的特点在于其高空间分辨率、多模态和多分辨率数据融合以及包含土地覆盖信息。高空间分辨率的光学数据能够获取到细节丰富的地物信息，而SAR数据则提供了对云穿透和地物几何形状的辅助信息。多模态和多分辨率数据融合使得数据集能够更真实地反映实际应用中的云去除问题。土地覆盖注释则允许评估云去除方法在不同土地覆盖类型上的性能，并验证方法在生成语义上有意义结构方面的有效性。

使用方法

使用Planet-CR数据集时，首先需要了解数据集的组织结构和包含的数据类型。数据集提供了光学数据、雷达数据和土地覆盖注释，每种数据都有其特定的分辨率和格式。使用数据集进行云去除算法的开发和评估时，需要考虑多模态和多分辨率数据融合的问题，并设计合适的算法来处理不同数据之间的对齐和融合。同时，可以使用土地覆盖注释来评估算法在不同土地覆盖类型上的性能，以及算法在生成语义上有意义结构方面的有效性。

背景与挑战

背景概述

在地球观测和环境监测等领域，遥感影像作为一种重要的数据来源，受到了广泛关注。然而，大气中的霾和云层会影响到电磁信号的传输，导致地表信息的缺失，严重限制了遥感影像的应用潜力。云层去除技术旨在恢复云层覆盖区域，从而为遥感影像的分析提供必要的前处理步骤。Planet-CR数据集应运而生，它是首个公开的用于高分辨率云层去除的多模态和多分辨率数据融合基准数据集。该数据集由武汉大学电子与信息学院和慕尼黑工业大学地球观测数据科学实验室的研究人员共同构建，旨在为高分辨率光学遥感影像的云层去除提供坚实的基础。Planet-CR数据集的创建填补了现有云层去除数据集在分辨率方面的空白，并提供了像素级土地覆盖注释，为评估云层去除方法在生成语义结构方面的有效性提供了可能性。

当前挑战

Planet-CR数据集的创建和云层去除技术面临的主要挑战包括：1) 现有数据集缺乏高分辨率影像，难以满足恢复高分辨率遥感影像中清晰边缘和丰富纹理细节的需求；2) 现有的云层去除方法主要关注生成视觉上令人愉悦的纹理，缺乏对生成语义结构的评估。为了解决这些挑战，Planet-CR数据集采用了来自Planet卫星影像的全球高分辨率光学观测数据，并结合了配对的雷达测量和像素级土地覆盖注释。此外，数据集还包含了Sentinel-1 SAR数据，以促进云层去除技术的发展。针对多模态和多分辨率数据融合的云层去除问题，研究人员提出了名为Align-CR的新型云层去除算法，该算法在重建过程中隐式地对多模态和多分辨率数据进行对齐，以提升云层去除的性能。实验结果表明，Align-CR方法在视觉恢复质量和语义恢复质量方面均表现出最佳性能，为未来云层去除技术的发展提供了新的思路和方向。

常用场景

经典使用场景

Planet-CR数据集主要用于高分辨率光学遥感影像的多模态和多分辨率数据融合去云研究。该数据集包含了全球范围内的高分辨率光学观测数据，与配对的雷达测量数据以及像素级土地覆盖注释。它为生成视觉上令人愉悦的纹理和语义上有意义的结构提供了坚实的基础，从而为去云算法的评估提供了全面的标准。

衍生相关工作

Planet-CR数据集的引入，促进了多模态和多分辨率数据融合去云研究的发展。基于该数据集，研究者们提出了多种新的去云算法，如Align-CR算法。该算法通过低分辨率SAR图像指导高分辨率光学图像的去云，并在特征空间中隐式地对多模态和多分辨率数据进行对齐，从而提高了去云性能。此外，Planet-CR数据集还用于评估现有去云算法的性能，并为未来算法的发展提供了基线。

数据集最近研究

最新研究方向

在光学遥感影像的云去除领域，Planet-CR数据集的提出为高分辨率云去除任务提供了新的基准和基准数据集。该数据集通过融合多模态和多分辨率数据，包括高分辨率光学观测、配对雷达测量和像素级土地覆盖注释，为视觉上令人愉悦的纹理和语义上有意义结构的生成提供了坚实的基础。为了解决多模态和多分辨率数据融合的云去除问题，文章提出了Align-CR方法，该方法通过在重建过程中隐式地对齐多模态和多分辨率数据来提升云去除性能。实验结果表明，Align-CR方法在视觉恢复质量和语义恢复质量方面都取得了最佳性能。Planet-CR数据集和Align-CR方法的提出，为未来云去除算法的发展提供了新的方向和工具，有望推动高分辨率光学遥感影像云去除技术的发展。

相关研究论文

• High-Resolution Cloud Removal with Multi-Modal and Multi-Resolution Data Fusion: A New Baseline and Benchmark

  武汉大学电子信息学院 · 2023年