AllClear

AllClear数据集由康奈尔大学和哥伦比亚大学的研究人员创建，旨在解决卫星图像云去除领域中缺乏全面基准和多样化训练数据的问题。该数据集包含23,742个全球分布的感兴趣区域，总计435万张图像，涵盖了2022年从Sentinel-2、Landsat 8/9和Sentinel-1卫星获取的多光谱和合成孔径雷达图像。数据集的创建过程包括选择ROIs、数据准备和预处理，以及云和阴影掩码的计算。AllClear数据集的应用领域广泛，包括环境监测、灾害响应和城市规划等，旨在通过提供高质量的云去除数据来提升卫星图像的实用性和准确性。

The AllClear dataset was created by researchers from Cornell University and Columbia University to address the lack of comprehensive benchmarks and diverse training data in the field of satellite image cloud removal. It contains 23,742 geographically distributed regions of interest (ROIs), totaling 4.35 million multispectral and synthetic aperture radar (SAR) images acquired from Sentinel-2, Landsat 8/9, and Sentinel-1 satellites in 2022. The dataset creation process includes ROI selection, data preparation and preprocessing, as well as the calculation of cloud and shadow masks. The AllClear dataset has broad application scenarios covering environmental monitoring, disaster response, urban planning and other fields, aiming to improve the practicality and accuracy of satellite images by providing high-quality cloud removal data.

原始信息汇总

AllClear Dataset and Benchmark

数据集概述

• 名称: AllClear: A Comprehensive Dataset and Benchmark for Cloud Removal in Satellite Imagery
• 描述: 该数据集包含约32000个来自开罗和加利福尼亚州的变化事件，还包括森林火灾和道路建设的标注示例。
• 关键词: SATELLITE, CHANGE DETECTION, FOREST FIRES, ROAD CONSTRUCTIONS, CAIRO, CALIFORNIA
• 许可证: Creative Commons Attribution-NonCommercial 4.0 International License
• 免费访问: 是
• 时间覆盖范围: 2015-06-01 至 2021-12-30

数据集组成部分

1. CalFire Benchmark

   • 描述: 包含加利福尼亚火灾地点的变化事件、卫星图像堆栈、标注的火灾标签和训练测试分割。
   • 许可证: Creative Commons Attribution-NonCommercial 4.0 International License
   • 创建者: Cornell University

2. CaiRoad Benchmark

   • 描述: 包含开罗的变化事件、卫星图像堆栈、人工标注的道路标签和训练测试分割。
   • 许可证: Creative Commons Attribution-NonCommercial 4.0 International License
   • 创建者: Cornell University

数据下载

• Readme.txt: 下载链接
• CaiRoad.zip: 下载链接
• CalFire.zip: 下载链接
• all_forest_fires.csv: 下载链接

创建者信息

• 机构: Cornell University > Department of Computer Science
• 联系人: [e-mail]

其他资源

• 代码库: GitHub
• 测试集: allclear_test_images.zip
• 测试集元数据: allclear_test_metadata.json

搜集汇总

数据集介绍

构建方式

AllClear数据集通过整合全球23,742个区域的多光谱光学影像、合成孔径雷达影像以及辅助遥感产品，构建了一个全面且多样化的云去除基准。该数据集涵盖了2022年的完整时间序列捕获，包括来自Sentinel-2和Landsat 8/9的多光谱光学影像，以及Sentinel-1的SAR影像。此外，数据集还包含了云掩膜和土地覆盖图等辅助产品，以支持云去除模型的训练和评估。通过这种方式，AllClear数据集确保了地球表面的全面覆盖，并促进了云去除技术的进一步发展。

特点

AllClear数据集的主要特点在于其规模和多样性。该数据集包含了400万张图像，覆盖了全球多个地区的不同土地利用模式，从而提供了丰富的训练和评估样本。此外，数据集的时间序列捕获和多模态数据（包括光学影像和SAR影像）的结合，使得模型能够更好地插值缺失信息，提高云去除的准确性。数据集还提供了详细的元数据，如地理位置、时间戳、土地覆盖图和云掩膜，以支持模型的构建和评估。

使用方法

AllClear数据集适用于各种云去除算法的训练和评估。研究人员可以使用该数据集来训练和验证云去除模型，通过比较不同模型的性能，选择最优的云去除算法。数据集的多模态数据和详细元数据为模型提供了丰富的信息，使得模型能够在不同环境和条件下进行有效的云去除。此外，数据集的公开性和易用性也使得研究人员能够方便地访问和使用这些数据，推动云去除技术的发展。

背景与挑战

背景概述

卫星图像识别技术在环境监测、灾害响应、城市规划、农作物产量预测等领域具有广泛应用。然而，云层遮挡问题严重限制了这些应用的效能，因为地球表面在任何时刻约有67%被云层覆盖。为了解决这一问题，康奈尔大学和哥伦比亚大学的研究人员于2022年创建了AllClear数据集，该数据集包含了23,742个全球分布的感兴趣区域（ROIs），总计400万张图像。AllClear数据集不仅涵盖了Sentinel-2和Landsat 8/9的多光谱光学图像，还包括了Sentinel-1的合成孔径雷达（SAR）图像，以及云掩膜和土地覆盖图等辅助遥感产品。该数据集的创建旨在为云去除研究提供一个全面且多样化的基准，以推动遥感数据在各领域的应用。

当前挑战

AllClear数据集在构建过程中面临多项挑战。首先，现有云去除数据集的地理多样性有限，导致训练效果和评估严谨性受到影响。其次，许多现有数据集过滤掉了高云覆盖率的图像，限制了模型在实际高云覆盖情况下的应用。此外，部分基准使用的无云图像与输入图像的时间点差异较大，可能导致评估中的噪声。最后，现有数据集的传感器/模态种类有限，限制了模型进行准确云去除的信息来源。AllClear数据集通过引入更多样化的地理和云覆盖情况，以及多种传感器数据，旨在解决这些挑战，提升云去除技术的性能。

常用场景

经典使用场景

AllClear数据集在卫星图像云层去除领域具有经典应用场景。该数据集通过提供23,742个全球分布的感兴趣区域（ROIs），包含400万张图像，涵盖了从Sentinel-2和Landsat 8/9获取的多光谱光学图像以及Sentinel-1的合成孔径雷达（SAR）图像。这些图像与云掩膜和土地覆盖图等辅助遥感产品相结合，使得研究人员能够开发和验证云层去除算法，特别是在需要高时空分辨率的场景中，如环境监测、灾害响应和城市规划。

解决学术问题

AllClear数据集解决了当前云层去除研究中的一个关键问题，即缺乏全面基准和足够大且多样化的训练数据集。通过提供全球分布的ROIs和多样的土地利用模式，该数据集显著提升了云层去除模型的训练效果和评估严谨性。此外，AllClear数据集通过包含不同传感器和长时间序列的图像，解决了现有数据集在传感器多样性和时间对齐方面的不足，推动了云层去除技术的发展。

衍生相关工作

AllClear数据集的发布催生了一系列相关研究工作。例如，基于该数据集，研究人员开发了多种云层去除算法，如使用多传感器数据融合的云层去除方法和基于多时间序列输入的云层去除模型。此外，AllClear数据集还促进了云层去除技术的评估和基准测试，推动了该领域的标准化和进步。未来，预计将有更多基于AllClear数据集的研究出现，进一步优化云层去除技术并扩展其应用范围。