38-Cloud

该数据集包含38幅Landsat 8场景图像及其手动提取的像素级云检测地面实况。数据集被分割成多个384*384的补丁，适合深度学习语义分割算法。训练集有8400个补丁，测试集有9201个补丁。每个补丁包含4个对应的谱通道：红色、绿色、蓝色和近红外。

This dataset comprises 38 Landsat 8 scene images along with their manually extracted pixel-level cloud detection ground truths. The dataset is divided into multiple 384*384 patches, which are suitable for deep learning semantic segmentation algorithms. The training set contains 8,400 patches, and the test set includes 9,201 patches. Each patch encompasses four corresponding spectral channels: red, green, blue, and near-infrared.

原始信息汇总

数据集概述

名称: 38-Cloud: A Cloud Segmentation Dataset

描述: 该数据集包含38张Landsat 8场景图像及其手动提取的像素级云检测地面实况。数据集由8400个训练补丁和9201个测试补丁组成，每个补丁大小为384*384像素，包含红、绿、蓝和近红外四个对应的频谱通道。

目录结构:

• 38-Cloud_training:
  • train_red
  • train_green
  • train_blue
  • train_nir
  • train_gt
  • Natural_False_Color
  • Entire_scene_gts
  • training_patches_38-Cloud.csv
  • training_sceneids_38-Cloud.csv
• 38-Cloud_test:
  • test_red
  • test_green
  • test_blue
  • test_nir
  • Natural_False_Color
  • Entire_scene_gts
  • test_patches_38-Cloud.csv
  • test_sceneids_38-Cloud.csv

重要点:

1. 薄云（雾）也被视为云（以及厚云）。
2. 自然颜色图像用于进一步的可视化目的，未在训练和测试阶段使用。
3. 部分补丁因Landsat 8图像的黑色边距而没有有用信息。

评估:

• 提供了一个简单的Matlab代码来帮助研究人员评估他们在这个数据集上获得的结果。
• 评估基于每个“完整场景”，并平均超过38-Cloud测试集中的20个场景。

引用:

• Mohajerani, S., & Saeedi, P. (2019). Cloud-Net: An End-To-End Cloud Detection Algorithm for Landsat 8 Imagery. IGARSS 2019 - 2019 IEEE International Geoscience and Remote Sensing Symposium.
• Mohajerani, S., Krammer, T. A., & Saeedi, P. (2018). A Cloud Detection Algorithm for Remote Sensing Images Using Fully Convolutional Neural Networks. 2018 IEEE 20th International Workshop on Multimedia Signal Processing (MMSP).

搜集汇总

数据集介绍

构建方式

38-Cloud数据集的构建基于38幅Landsat 8场景图像，这些图像经过人工标注，生成了像素级的云检测地面真值。为了适应深度学习语义分割算法的需求，原始图像被裁剪为多个384×384像素的图像块，其中训练集包含8400个图像块，测试集包含9201个图像块。每个图像块包含四个光谱通道，分别是红、绿、蓝和近红外波段，这些通道分别存储在不同的目录中，以便于模型的独立处理。

特点

38-Cloud数据集的显著特点在于其高分辨率的图像块和多光谱通道的独立存储方式，这为云检测任务提供了丰富的光谱信息。此外，数据集包含了薄云和厚云的标注，确保了云检测的全面性。数据集还提供了自然假彩色图像和完整的场景真值，便于可视化和评估。

使用方法

使用38-Cloud数据集时，用户可以将训练集和测试集分别用于模型的训练和评估。每个图像块的四个光谱通道可以独立输入模型，进行多光谱特征的学习。数据集还提供了评估代码，用户可以通过该代码将预测的图像块掩码合并为完整的场景掩码，并与地面真值进行比较，从而计算出云检测的准确性指标。

背景与挑战

背景概述

38-Cloud数据集是一个专注于云检测的卫星图像分割数据集，由38幅Landsat 8场景图像及其手动提取的像素级云检测地面真值组成。该数据集首次在2019年由Sorour Mohajerani和P. Saeedi提出，作为对2018年IEEE MMSP会议上提出的数据集的改进。38-Cloud数据集的核心研究问题是通过深度学习算法进行云检测，特别是针对Landsat 8卫星图像的语义分割。该数据集的发布对遥感图像处理领域产生了重要影响，为研究人员提供了一个标准化的基准，用于评估和比较不同的云检测算法。

当前挑战

38-Cloud数据集在构建和应用过程中面临多项挑战。首先，云检测本身是一个复杂的问题，尤其是薄云和厚云的区分，以及云与地表特征的混淆。其次，数据集的构建过程中，需要对原始Landsat 8图像进行裁剪和预处理，生成适合深度学习算法的384*384像素块，这一过程涉及大量计算和人工标注。此外，数据集中存在部分无用信息（如黑色边缘）的像素块，增加了数据清洗的难度。最后，评估云检测算法的性能时，需要将小尺寸的预测块重新组合成完整的场景，并与地面真值进行对比，这一过程对算法的精确性和鲁棒性提出了高要求。

常用场景

经典使用场景

38-Cloud数据集在云检测领域中具有广泛的应用，尤其在基于深度学习的遥感图像云分割任务中表现尤为突出。该数据集包含了38幅Landsat 8场景图像及其手动提取的像素级云检测真值，图像被裁剪为384*384的补丁，适用于深度学习语义分割算法。通过使用该数据集，研究人员可以训练和测试云检测模型，从而实现对遥感图像中云层的精确分割。

解决学术问题

38-Cloud数据集解决了遥感图像中云检测的学术难题，尤其是在复杂气象条件下对云层的精确识别。该数据集通过提供高质量的像素级真值，帮助研究人员开发和验证云检测算法，推动了遥感图像处理技术的发展。其意义在于提升了云检测的准确性和鲁棒性，为气象预报、环境监测等领域提供了重要的技术支持。

衍生相关工作

基于38-Cloud数据集，许多经典工作得以展开，特别是在云检测算法的开发和优化方面。例如，Cloud-Net模型就是基于该数据集开发的一种端到端的云检测算法，显著提升了云检测的准确性。此外，该数据集还激发了其他研究者开发新的深度学习模型，如改进的卷积神经网络和语义分割算法，进一步推动了遥感图像处理领域的技术进步。