Sen2LUCAS

Sen2LUCAS数据集包含地理标记的Sentinel-2数据，这些数据来自LUCAS 2018数据集，由100x100像素的图像组成，具有三个光谱波段（RGB）。数据是通过Planetary Computers API获取的，重点关注与LUCAS数据相同的月份。为了确保最小云干扰（10-20%云覆盖），收集窗口根据云免费图像的可用性延长了最多±2个月。

The Sen2LUCAS dataset contains geotagged Sentinel-2 data derived from the LUCAS 2018 dataset, which consists of 100×100 pixel images with three spectral bands (RGB). The data was acquired via the Planetary Computers API, with focus on the same month as the LUCAS data. To ensure minimal cloud interference (10–20% cloud cover), the collection window was extended by up to ±2 months based on the availability of cloud-free imagery.

原始信息汇总

SenCLIP: Enhancing zero-shot land-use mapping for Sentinel-2 with ground-level prompting

数据集概述

• 数据集名称: Sen2LUCAS
• 数据来源: 数据集包含从LUCAS 2018数据集中获取的带有地理标签的Sentinel-2数据。
• 数据特征:
  • 图像大小为100x100像素。
  • 包含三个光谱波段（RGB）。
• 数据获取方式: 使用Planetary Computers API获取数据，重点关注与LUCAS数据相同的月份。
• 数据处理: 为了确保云层干扰最小化（10-20%的云覆盖），数据收集窗口根据云免费图像的可用性延长了最多±2个月。

模型架构

• 模型类型: 包含RN50和ViT-B/32架构的变体。
• 池化方式: 提供平均池化和注意力池化的模型变体。

模型检查点

• 检查点数量: 共发布了四个模型检查点。

相关资源

• 模型检查点: Model Checkpoints 🤗
• LUCAS冻结嵌入: LUCAS Frozen Embeddings 🤗

参考

• 基于的仓库:
  • CLIP
  • Sat2Cap
• 用于标题生成的仓库: CLIPCap

搜集汇总

数据集介绍

构建方式

Sen2LUCAS数据集的构建基于LUCAS 2018数据集，通过与Sentinel-2卫星图像的精确对齐，形成了包含地理标记的100x100像素RGB图像。数据采集过程中，利用了Planetary Computers API，确保了数据的时间一致性，并根据云层覆盖情况调整了采集窗口，以保证图像质量，云层覆盖率控制在10-20%之间。

特点

Sen2LUCAS数据集的显著特点在于其结合了Sentinel-2卫星图像与LUCAS 2018地面照片，实现了空中与地面视角的融合。这种多层次的数据结构不仅提升了地物分类的准确性，还为零样本学习提供了丰富的视觉语言模型训练数据。此外，数据集的RGB三波段图像设计，使其在处理中分辨率卫星图像时表现出色。

使用方法

Sen2LUCAS数据集适用于多种地物分类任务，尤其是零样本学习场景。用户可以通过提供的模型检查点，快速加载预训练的RN50和ViT-B/32架构模型，进行平均池化或注意力池化的实验。此外，数据集的地面照片与卫星图像对齐特性，使其在需要结合空中与地面视角的任务中具有独特优势，如土地利用与覆盖分类等。

背景与挑战

背景概述

Sen2LUCAS数据集由SenCLIP研究团队创建，旨在解决Sentinel-2卫星影像在零样本土地利用/土地覆盖（LULC）分类中的挑战。该数据集通过将Sentinel-2卫星图像与LUCAS 2018地面照片进行对齐，利用视觉-语言框架CLIP，提升了模型对中分辨率卫星影像的理解能力。Sen2LUCAS数据集的构建基于LUCAS 2018数据集，包含100x100像素的RGB三波段图像，并通过Planetary Computers API获取，确保了数据的时空一致性。该数据集的发布对推动视觉-语言模型在卫星影像分析中的应用具有重要意义，尤其是在提升LULC分类精度方面。

当前挑战

Sen2LUCAS数据集在构建过程中面临多项挑战。首先，卫星影像与地面照片的对齐需要精确的时空匹配，以确保数据的一致性和有效性。其次，Sentinel-2影像中云层覆盖的问题限制了数据的可获取性，研究团队通过扩展数据收集窗口至±2个月，以获取尽可能少的云层干扰图像。此外，如何将预训练的CLIP模型有效适应于卫星影像的零样本分类任务，也是一个技术难点。这些挑战不仅涉及数据获取和处理的复杂性，还包括模型架构的优化和跨模态对齐的技术难题。

常用场景

经典使用场景

Sen2LUCAS数据集的经典使用场景主要集中在零样本土地利用/土地覆盖（LULC）分类任务中。通过将Sentinel-2卫星图像与LUCAS 2018地面照片进行对齐，Sen2LUCAS数据集使得模型能够利用地面视图的详细描述来增强对卫星图像的理解。这种方法在EuroSAT和BigEarthNet等基准数据集上显著提升了LULC分类的准确性，尤其是在使用空中和地面提示的情况下。

衍生相关工作

基于Sen2LUCAS数据集，研究者们开发了多种相关工作，包括改进的视觉-语言模型和更高效的遥感图像处理算法。例如，SenCLIP模型通过结合CLIP和地面视图提示，显著提升了零样本LULC分类的性能。此外，该数据集还激发了其他研究者探索如何在不同地理区域和时间尺度上应用类似的方法，进一步推动了遥感技术的应用和发展。

数据集最近研究

最新研究方向

在遥感与土地利用/土地覆盖（LULC）分类领域，Sen2LUCAS数据集的最新研究方向聚焦于通过视觉-语言模型（如CLIP）实现零样本土地利用映射。该研究通过将Sentinel-2卫星图像与LUCAS 2018地面照片进行对齐，显著提升了模型对中分辨率卫星影像的理解能力。这一方法不仅克服了预训练模型在卫星影像数据上的局限性，还通过结合地面视角的描述，增强了LULC分类的准确性。该研究在EuroSAT和BigEarthNet数据集上的评估结果表明，SenCLIP框架在零样本任务中的表现尤为突出，为遥感领域的智能化应用提供了新的技术路径。