Satellogic EarthView STAC

该数据集包含约710万张高分辨率（约1米）的卫星图像，这些图像以CC-BY 4.0许可证发布，并通过AWS的开放数据注册表提供。数据集以静态时空资产目录（STAC）的形式存储，包含大量带有元数据的GeoJSON特征（STAC项），描述了这些图像。

This dataset contains approximately 7.1 million high-resolution satellite images with a spatial resolution of approximately 1 meter. These images are released under the CC-BY 4.0 license and are available via the AWS Open Data Registry. The dataset is stored in the form of a SpatioTemporal Asset Catalog (STAC), which includes a large number of GeoJSON features (STAC Items) with metadata that describe these satellite images.

原始信息汇总

Satellogic EarthView STAC GeoParquet数据集概述

数据集基本信息

• 名称: Satellogic EarthView STAC GeoParquet
• 数据量: 约710万张高分辨率卫星图像
• 分辨率: 约1米
• 许可证: CC-BY 4.0
• 数据来源: AWS Open Data Registry

数据内容与特点

• 数据类型: 高分辨率卫星图像
• 数据格式: 静态STAC（SpatioTemporal Asset Catalog）转换为GeoParquet格式
• 数据组织: 按年、月、日嵌套的集合结构
• 数据用途: 支持高效的空间查询和分析工作流

技术细节

• 转换过程:
  1. 将STAC Items从JSON文件转换为ndjson文件
  2. 使用stac-geoparquet Python库创建GeoParquet文件
  3. 应用空间排序和压缩以优化查询效率和文件大小
• 文件大小:
  • 原始ndjson文件: 22GB
  • 未压缩GeoParquet文件: 1.5GB
  • 压缩后GeoParquet文件: 275MB

数据访问

• GeoParquet文件位置: s3://satellogic-earthview-stac-geoparquet/satellogic-earthview-stac-items.parquet
• 工具支持: 可使用duckdb、geopandas、lonboard等工具进行数据探索和分析

相关资源

• 论文: EarthView: A Large Scale Remote Sensing Dataset for Self-Supervision
• 示例代码: 包含在exploring-satellogic-earthview.ipynb笔记本中

致谢

• 数据提供方: Satellogic
• 技术支持方: STAC、GeoParquet和Arrow社区

搜集汇总

数据集介绍

构建方式

Satellogic EarthView STAC数据集的构建过程主要分为两个步骤。首先，通过爬取AWS S3对象存储中的710万个JSON文件，生成ndjson格式的中间文件。随后，利用`stac-geoparquet` Python库将这些ndjson文件转换为GeoParquet格式，并应用空间排序和压缩技术，以优化查询效率和存储空间。整个过程在AWS EC2实例上完成，确保了数据处理的高效性和稳定性。

使用方法

使用Satellogic EarthView STAC数据集时，用户可以通过`duckdb`、`geopandas`等工具直接读取GeoParquet文件，进行空间查询和数据分析。数据集还提供了示例笔记本，展示了如何利用`h3`、`lonboard`、`stacrs`和`ipyleaflet`等工具进行数据探索和可视化。用户无需下载整个数据集，即可通过S3直接访问数据，极大地提高了数据使用的便捷性和效率。

背景与挑战

背景概述

Satellogic EarthView STAC数据集由Satellogic公司创建，旨在提供高分辨率（约1米）的卫星图像数据，涵盖全球范围内的地理信息。该数据集于2022年发布，包含约710万张卫星图像，采用CC-BY 4.0许可协议，并通过AWS的开放数据注册表公开。Satellogic EarthView STAC数据集的核心研究问题在于如何高效地管理和查询大规模的地理空间数据，以支持遥感、环境监测和城市规划等领域的应用。该数据集的发布极大地推动了地理信息科学的发展，并为研究人员提供了丰富的实验数据。

当前挑战

Satellogic EarthView STAC数据集面临的挑战主要体现在两个方面。首先，数据集的原始存储结构为静态的STAC（SpatioTemporal Asset Catalog），由大量JSON文件组成，这些文件包含描述图像的元数据（STAC Items）。这种存储方式使得查询和探索数据变得极为困难，尤其是在需要检索特定区域或时间段的图像时，必须读取所有STAC Items，导致效率低下。其次，在将STAC转换为GeoParquet格式的过程中，数据处理和存储优化也面临挑战。尽管GeoParquet格式提供了高效的列式存储和查询能力，但在转换过程中需要处理大量数据，并应用空间排序和压缩技术，这对计算资源和内存需求提出了较高要求。

常用场景

经典使用场景

Satellogic EarthView STAC数据集在遥感领域中被广泛用于高分辨率卫星图像的分析与研究。其经典使用场景包括对地球表面的大规模监测，如土地利用分类、植被覆盖变化检测以及自然灾害评估等。通过该数据集，研究人员能够获取全球范围内的高精度影像数据，进而进行深入的地理空间分析。

解决学术问题

该数据集解决了遥感领域中大规模卫星影像数据的高效存储与查询问题。传统的STAC格式由于数据量大且分散，查询效率较低。通过将其转换为GeoParquet格式，显著提升了数据的查询速度与分析效率，使得研究人员能够更便捷地进行空间与时间维度的数据筛选与聚合，从而推动了遥感数据分析技术的发展。

实际应用

在实际应用中，Satellogic EarthView STAC数据集被广泛用于农业监测、城市规划、环境监测等领域。例如，农业部门可以利用该数据集进行作物生长状况的实时监测，城市规划者则可以通过分析城市扩展趋势来优化土地利用。此外，该数据集还为灾害应急响应提供了重要的数据支持，帮助决策者快速评估灾情并制定应对措施。

数据集最近研究

最新研究方向

近年来，随着遥感技术的飞速发展，高分辨率卫星影像数据的处理与分析成为了地理信息科学领域的热点研究方向。Satellogic EarthView STAC数据集以其包含的710万张高分辨率（约1米）卫星影像，为研究者提供了丰富的空间数据资源。该数据集通过SpatioTemporal Asset Catalog (STAC)标准进行组织，但由于其静态存储结构，查询和分析效率较低。为了解决这一问题，研究者们提出了将STAC数据转换为GeoParquet格式的方案，通过列式存储和空间索引技术，显著提升了数据查询和分析的效率。这一创新不仅为大规模遥感数据的处理提供了新的技术路径，还推动了遥感数据在农业监测、城市规划、灾害评估等领域的广泛应用。此外，该数据集的开源特性也为全球研究者提供了共享和协作的平台，进一步促进了遥感数据科学的发展。