SkyScript

SkyScript是由斯坦福大学创建的一个大规模且语义多样的遥感视觉语言数据集，包含260万个图像-文本对，覆盖2.9万个不同的语义标签。该数据集通过地理坐标将Google Earth Engine上的无标签遥感图像与OpenStreetMap中的丰富语义信息相连接，实现了全球覆盖。SkyScript不仅包含广泛的对象类别，还包含子类别和详细属性，如农田作物类型、道路表面材料等。该数据集旨在支持遥感领域中多种多模态任务的发展，如开放词汇分类、检索、图像描述和文本到图像合成。SkyScript is a large-scale, semantically diverse remote sensing vision-language dataset developed by Stanford University. It comprises 2.6 million image-text pairs and covers 29,000 distinct semantic labels. By leveraging geographic coordinates, this dataset connects unlabeled remote sensing imagery hosted on Google Earth Engine with rich semantic information from OpenStreetMap, achieving full global coverage. SkyScript not only includes a broad spectrum of object categories, but also features subcategories and fine-grained attributes such as farmland crop types, road surface materials and others. This dataset is designed to facilitate the advancement of diverse multimodal tasks in the remote sensing domain, including open-vocabulary classification, retrieval, image captioning and text-to-image synthesis.

搜集汇总

数据集介绍

构建方式

SkyScript数据集通过将Google Earth Engine（GEE）平台上的大规模未标注遥感图像与OpenStreetMap（OSM）中的地理标签语义信息进行自动连接，构建了一个包含260万对图像-文本对的综合视觉-语言数据集。该数据集通过地理坐标将遥感图像与OSM中的丰富语义信息进行配对，涵盖了29,000个不同的语义标签。构建过程中，首先从GEE获取多源、多分辨率的遥感图像，然后利用OSM中的标签信息生成图像的描述文本，并通过CLIP模型对标签进行分类，确保标签与图像的视觉可解释性。

特点

SkyScript数据集的主要特点在于其大规模和语义多样性。该数据集包含了260万对图像-文本对，覆盖了29,000个不同的语义标签，远超现有的遥感图像-文本数据集。其语义信息不仅涵盖了对象类别，还包括子类别和详细属性，如道路表面材料、农田作物类型等。此外，数据集具有全球覆盖性，尽管高分辨率图像主要集中在欧美地区，但其他地区的数据也得到了较好的覆盖。

使用方法

SkyScript数据集可用于多种遥感任务的模型开发，如开放词汇分类、跨模态检索、图像描述生成和文本到图像生成等。通过在该数据集上进行持续预训练，可以获得专门针对遥感领域的视觉-语言模型（VLM），并在零样本场景分类、细粒度属性分类和跨模态检索等任务中表现出显著的性能提升。此外，该数据集还可以与其他图像-文本数据集结合，用于从头开始预训练通用VLM。

背景与挑战

背景概述

SkyScript数据集由斯坦福大学的研究团队创建，旨在填补遥感图像领域中大规模语义多样化视觉语言数据集的空白。该数据集通过地理坐标将Google Earth Engine中的未标记遥感图像与OpenStreetMap中的丰富语义信息自动连接，构建了包含260万对图像-文本数据的全面数据集，涵盖29,000个不同的语义标签。SkyScript的创建不仅推动了遥感图像在可持续发展目标和气候变化应对中的应用，还为视觉语言模型（VLM）在遥感领域的多模态任务（如开放词汇分类、检索、图像描述生成等）提供了强有力的支持。通过在该数据集上的持续预训练，研究人员成功开发出超越基线模型的VLM，显著提升了零样本场景分类、细粒度属性分类和跨模态检索等任务的性能。

当前挑战

SkyScript数据集的构建面临两大主要挑战。首先，遥感图像的特殊性使得从公开互联网上大规模收集图像-文本对变得困难，因为这些图像通常由地球观测公司、政府机构或国际组织独家拥有，无法通过网络爬取获取。其次，由于遥感图像的领域专业性，通过人工标注获取大规模语义多样化的数据集同样具有挑战性。现有的遥感数据集规模通常较小，语义类别有限，难以满足VLM对大规模多样化数据的需求。此外，SkyScript在地理覆盖上存在偏差，高分辨率图像主要集中在欧美地区，导致其他地区的数据代表性不足。未来需要通过与地球观测机构合作，获取更广泛的高分辨率图像，并通过结合模型与人工标注进一步丰富数据集的语义多样性。

常用场景

经典使用场景

SkyScript数据集的经典使用场景主要集中在遥感图像的多模态任务中，如零样本场景分类、细粒度属性分类和跨模态检索。通过在SkyScript数据集上进行持续预训练，研究人员能够开发出超越基线模型的视觉语言模型（VLM），并在多个遥感基准数据集上实现显著的性能提升。

实际应用

SkyScript数据集在实际应用中具有广泛的应用场景，特别是在可持续发展领域。例如，它可以用于基础设施状况的监测（如道路、桥梁）、非法采矿的识别、土地利用的跟踪以及分布式可再生能源资源的映射。此外，SkyScript还可以与其他图像-文本数据集结合，用于从头开始预训练通用视觉语言模型，进一步扩展其在不同领域的应用潜力。

衍生相关工作

基于SkyScript数据集，研究人员开发了多个相关的经典工作，特别是在遥感领域的视觉语言模型（VLM）方面。例如，通过在SkyScript上进行持续预训练，研究人员构建了专门针对遥感的CLIP模型（SkyCLIP），并在零样本场景分类、细粒度属性分类和跨模态检索任务中取得了显著的性能提升。此外，SkyScript还为其他遥感任务（如图像描述生成和文本到图像生成）提供了数据支持，推动了遥感领域多模态研究的进一步发展。