IGNF/PASTIS-HD

PASTIS-HD是一个包含光学时间序列、雷达时间序列和非常高分辨率卫星图像的全景农业卫星时间序列数据集。该数据集涵盖了法国境内2433个农田地块，每个地块都包含全景注释（每个像素的实例索引和语义标签）。数据集可用于评估基于光学时间序列、雷达时间序列和VHR图像的多模态融合方法在地块分类、语义分割和全景分割方面的性能。

PASTIS-HD is a panoptic agricultural satellite time series dataset composed of optical time series, radar time series, and very high resolution satellite images. It covers 2,433 agricultural parcels within the French metropolitan territory, each with panoptic annotations (instance index and semantic label for each pixel). The dataset is used to evaluate multi-modal fusion methods for parcel-based classification, semantic segmentation, and panoptic segmentation using optical time series, radar time series, and VHR images.

原始信息汇总

数据集概述

数据集名称

• PASTIS-HD

数据集描述

• PASTIS-HD 是一个用于农业地块全景和语义分割的基准数据集，包含从卫星时间序列中提取的光学时间序列、雷达时间序列和极高分辨率图像。

数据集内容

• 光学时间序列：2,433个Sentinel-2多光谱图像时间序列，每个序列包含38-61次采集，分辨率为10米/像素。
• 雷达时间序列：2021年扩展，包含2,433个Sentinel-1观测，每个观测约70次升轨和降轨观测，分辨率为10米/像素。
• 极高分辨率图像：2,433个SPOT 6-7卫星图像，分辨率1.5米/像素，重采样至1米/像素。

数据集特点

• 包含约124,422个独立地块的标注，覆盖约4,000平方公里，包含18种作物类型。
• 支持多模态融合方法的评估，适用于地块分类、语义分割和全景分割。

数据集格式

• Sentinel 1和2时间序列存储为numpy数组。
• SPOT图像存储为TIFF格式。
• 标注信息存储为numpy数组。

数据集使用

• 提供PyTorch数据集类，可直接用于模型训练。

数据集标注

• 农业地块分为18种不同的作物类别，背景类别对应非农业土地，空标签对应地块主要位于补丁外。

数据集来源

• Sentinel影像来自THEIA数据集群。
• 标注信息来自法国地块识别系统。
• SPOT图像来自Dataterra Dinamis倡议的"Couverture France DINAMIS"项目。

引用信息

• 使用PASTIS-HD时，请引用相关论文。

搜集汇总

数据集介绍

构建方式

PASTIS-HD数据集的构建汇集了多源卫星数据，包括Sentinel-2的光学时间序列、Sentinel-1的雷达时间序列以及SPOT 6-7星座的高分辨率卫星图像。该数据集包含了法国境内2,433个地块的泛optic注释（每个像素的实例索引和语义标签），构建过程中，将这些地块的卫星图像时间序列与大约70个Sentinel-1的升轨和降轨观测数据对齐，并将SPOT图像重采样至1米分辨率以与Sentinel数据完美对齐，从而增强数据集的空间内容，为农业地块分割提供更精细的信息。

特点

PASTIS-HD数据集的特点在于其多模态融合的特性，集成了光学时间序列、雷达时间序列以及高分辨率图像，可应用于基于地块的分类、语义分割和泛optic分割的评价。该数据集涵盖了约4,000平方公里的土地，包含18种作物类型，并以18个不同的作物类别对农业地块进行分组。此外，数据集的注释详细，包括地块的实例索引和语义标签，为研究提供了丰富的标签信息。

使用方法

使用PASTIS-HD数据集时，可以利用GitHub仓库中提供的PyTorch数据集类来加载数据，以便在模型训练中使用。该数据集的时间序列长度不一，Sentinel 1和2的时间序列存储为numpy数组，SPOT图像为TIFF格式，注释同样存储为numpy数组。需要注意的是，S2和S1文件夹中的文件数量超过了2433，因为有些地块未标注，不用于训练。元数据文件metadata.geojson作为数据加载器的索引，提供了相关信息。

背景与挑战

背景概述

PASTIS-HD数据集，全称为Panoptic Agricultural Satellite TIme Series，是一个针对卫星时间序列的全景和语义分割的基准数据集，专注于农业地块。该数据集由法国IGN（Institut National de l'Information Géographique et Forestière）创建于2021年，旨在通过整合光学时间序列、雷达时间序列以及高分辨率卫星图像，为多模态融合方法提供评估依据。数据集包含2,433个法国领土内的地块，每个地块都有全景标注（每个像素的实例索引和语义标签）。PASTIS-HD的创建，对于推动卫星图像时间序列在农业领域中的应用具有重要意义，特别是在地块分类、语义分割和全景分割方面。

当前挑战

PASTIS-HD数据集在构建过程中面临的挑战包括：1) 多源数据融合的挑战，如何有效地整合光学时间序列、雷达时间序列和高分辨率卫星图像，以提取更为精确的地块信息；2) 数据标注的挑战，需要对大量的卫星图像进行精确的全景标注，保证每个像素的实例索引和语义标签的准确性；3) 数据处理和存储的挑战，由于数据量大，包含多种类型的数据，如何高效地处理和存储成为一个问题；4) 数据集的泛化能力，如何在不同的农业环境和条件下，保证数据集的适用性和模型的泛化能力。

常用场景

经典使用场景

在遥感领域，PASTIS-HD数据集因其融合了多源卫星数据，成为评估多模态融合方法的重要资源。该数据集经典的使用场景包括对农田地块的精准分类、语义分割以及全景分割，以实现对农作物种植情况的细致监测与分析。

衍生相关工作

基于PASTIS-HD数据集，衍生了多项相关工作，如MAESTRO模型，它是一种用于多模态、多时态和多光谱地球观测数据的新型掩码自编码器。这些工作进一步推动了遥感数据处理技术的发展，拓宽了卫星数据在农业、环境监测等多个领域的应用前景。

数据集最近研究

最新研究方向

在遥感领域，IGNF/PASTIS-HD数据集以其多模态、多时相、多光谱的特性，成为研究的热点。该数据集结合了光学时间序列、雷达时间序列和非常高分辨率卫星图像，可用于评估多模态融合方法在地块分类、语义分割和全景分割方面的性能。近期研究利用该数据集，探索了卷积时序注意力网络在卫星图像时间序列的全景分割中的应用，以及多模态时序注意力模型在作物映射中的效果。此外，MAESTRO模型的研究通过掩码自编码器实现了多模态、多时相、多光谱地球观测数据的融合，为地球系统监测提供了新的视角。这些研究不仅推动了遥感技术在农业领域的应用，也为卫星数据的处理和分析提供了新的方法和工具。