SEN2NAIPv2

SEN2NAIPv2数据集是SEN2NAIP数据集的扩展，包含62,242对低分辨率（LR）和高分辨率（HR）图像，比第一版增加了约76%的图像。该数据集包括在2.5米和10米分辨率下的合成RGBN NAIP波段，降级为对应的Sentinel-2图像，并具有潜在的x4因子。降级模型包括三个连续步骤：（1）高斯模糊和双线性下采样，（2）反射率协调，（3）添加噪声。反射率协调是最关键的步骤。版本2中，U-Net模型被重新训练，时间阈值从一天扩展到三天，并包括了美国可用的完整Sentinel-2档案，使跨传感器数据集大小增加到35,217张图像。此外，SEN2NAIPv2数据集引入了两个新变体：`sen2naipv2-histmatch`和`sen2naipv2-crosssensor`。该数据集用于Sentinel-2图像超分辨率任务，并包含传感器、任务、数据存储库、讨论、分割策略、科学出版物、数据提供者、策展人和光学波段的信息。

The SEN2NAIPv2 dataset is an extension of the SEN2NAIP dataset, containing 62,242 pairs of low-resolution (LR) and high-resolution (HR) images, with approximately 76% more images than the first version. It includes synthetic RGBN NAIP bands at 2.5-meter and 10-meter resolutions, degraded to match corresponding Sentinel-2 images with a potential ×4 downscaling factor. The degradation model comprises three consecutive steps: (1) Gaussian blurring and bilinear downsampling, (2) reflectance harmonization, and (3) noise addition. Reflectance harmonization is the most critical step. In Version 2, the U-Net model was retrained, the temporal threshold was extended from one day to three days, and the complete available Sentinel-2 archive for the United States was incorporated, increasing the cross-sensor dataset size to 35,217 images. Additionally, the SEN2NAIPv2 dataset introduces two new variants: `sen2naipv2-histmatch` and `sen2naipv2-crosssensor`. This dataset is intended for Sentinel-2 image super-resolution tasks, and contains information regarding sensors, tasks, data repositories, discussions, scientific publications, data providers, curators, and optical bands.

原始信息汇总

sen2naipv2 数据集概述

基本信息

• 许可证: CC0-1.0
• 语言: 英语
• 标签: sentinel-2, super-resolution, harmonization, synthetic, cross-sensor, temporal
• 别名: sen2naipv2

数据集描述

SEN2NAIPv2 数据集是 SEN2NAIP 的扩展版本，包含 62,242 对低分辨率 (LR) 和高分辨率 (HR) 图像，比第一版增加了约 76% 的图像。数据集文件命名为 sen2naipv2-unet-000{1..3}.part.taco。该数据集包含合成 RGBN NAIP 波段，分辨率为 2.5 米和 10 米，降级为相应的 Sentinel-2 图像，并可能具有 x4 的降级因子。

降级模型

降级模型包括三个连续步骤：

1. 高斯模糊和双线性下采样
2. 反射率协调
3. 添加噪声

反射率协调是最关键的步骤。在版本 1 中，协调模型使用 U-Net 架构将高斯模糊的 NAIP 图像转换为反射率正确的 Sentinel-2 图像。在版本 2 中，U-Net 模型被重新训练，时间阈值从一天扩展到三天，并包括了美国可用的完整 Sentinel-2 档案，增加了跨传感器数据集的大小到 35,217 张图像。

数据集变体

1. sen2naipv2-histmatch: 与 sen2naipv2-unet 相同，但使用直方图匹配而不是风格迁移进行反射率协调，使用最近的 Sentinel-2 图像。
2. sen2naipv2-crosssensor: 与合成 SEN2NAIPv2 数据集不同，跨传感器 SEN2NAIPv2 数据集较小，仅包含在一天时间范围内捕获的 Sentinel-2 和 NAIP 图像。
3. sen2naipv2-temporal: 时间变体，使用与 sen2naipv2-unet 数据集相同的降级模型生成 LR 和 HR 图像对。

数据集加载

可以使用 tacoreader 库加载该数据集。

传感器信息

• 传感器: sentinel2msi

任务

• 任务: 超分辨率

原始数据仓库

• 来源: https://huggingface.co/datasets/isp-uv-es/SEN2NAIP

讨论

• 讨论链接: https://huggingface.co/datasets/tacofoundation/sen2naipv2/discussions

分割策略

• 分割策略: 分层

科学出版物

出版物 01

• DOI: 10.1109/LGRS.2024.3401394
• 摘要: 评估 Sentinel-2 图像超分辨率模型的工具集。

出版物 02

• DOI: 10.1109/LGRS.2024.3401394
• 摘要: SEN2NAIPv2 数据集的第 1 版。

数据提供者

名称	角色	URL
Image & Signal Processing	主机	https://isp.uv.es/
USDA Farm Production and Conservation - Business Center, Geospatial Enterprise Operations	生产者	https://www.fpacbc.usda.gov/
European Space Agency	生产者	https://www.esa.int/

数据集管理者

名称	组织	URL
Cesar Aybar	Image & Signal Processing	https://csaybar.github.io/

光谱波段

名称	常用名	描述	中心波长	半高全宽	索引
B02	蓝色	波段 2 - 蓝色 - 10m	496.5	53.0	0
B03	绿色	波段 3 - 绿色 - 10m	560.0	34.0	1
B04	红色	波段 4 - 红色 - 10m	664.5	29.0	2
B08	近红外	波段 8 - 近红外 - 10m	840.0	114.0	3

搜集汇总

数据集介绍

构建方式

SEN2NAIPv2数据集作为SEN2NAIP的扩展版本，通过引入62,242对低分辨率（LR）和高分辨率（HR）图像对，显著增加了数据规模。其构建过程包括三个关键步骤：首先，通过高斯模糊和双线性下采样生成低分辨率图像；其次，进行反射率协调，使用U-Net架构将模糊的NAIP图像转换为类似Sentinel-2的图像；最后，添加噪声以模拟真实环境。相较于第一版，第二版扩展了时间阈值至三天，并利用美国全境的Sentinel-2数据，增加了跨传感器数据集的规模至35,217张图像。

特点

SEN2NAIPv2数据集具有多重特点，包括大规模的LR和HR图像对、合成RGBN NAIP波段以及不同分辨率（2.5米和10米）的图像。此外，数据集引入了三种新变体：使用直方图匹配的`sen2naipv2-histmatch`、跨传感器数据集`sen2naipv2-crosssensor`以及时间序列数据集`sen2naipv2-temporal`。这些变体不仅丰富了数据集的多样性，还为不同应用场景提供了灵活的选择。

使用方法

SEN2NAIPv2数据集可通过`tacoreader`库进行加载和使用。用户可以利用Python或R语言访问数据，并通过`rasterio`库读取样本数据。数据集的LR和HR图像对适用于超分辨率任务，用户可以根据需求选择不同的数据变体进行模型训练和验证。此外，数据集的云优化格式确保了高效的数据读取和处理，适合大规模的遥感图像分析任务。

背景与挑战

背景概述

SEN2NAIPv2数据集是Sentinel-2图像超分辨率领域的一个重要扩展，由Image & Signal Processing团队和欧洲空间局等机构共同开发。该数据集的核心研究问题是如何通过合成和降级模型，将高分辨率的NAIP图像转换为低分辨率的Sentinel-2图像，从而实现图像的超分辨率重建。SEN2NAIPv2不仅继承了前一版本的基础，还通过扩展时间阈值和增加数据量，显著提升了数据集的规模和多样性。该数据集的发布为遥感图像处理领域提供了宝贵的资源，尤其是在跨传感器和时间序列图像的协调与超分辨率任务中，具有重要的研究价值。

当前挑战

SEN2NAIPv2数据集在构建过程中面临多项挑战。首先，如何通过精确的降级模型生成逼真的低分辨率图像，尤其是在反射率协调方面，是一个复杂的技术难题。其次，数据集的扩展涉及处理大量跨传感器和时间序列的图像，确保这些图像在不同时间点和传感器间的协调性，增加了数据处理的复杂性。此外，数据集的多样性和规模也带来了存储和计算资源的挑战。最后，如何确保数据集在训练、验证和测试阶段的公平性和有效性，也是该数据集面临的重要问题。

常用场景

经典使用场景

SEN2NAIPv2数据集在遥感图像超分辨率领域中具有经典应用场景，主要用于训练和评估超分辨率模型。该数据集通过合成的高分辨率（HR）和低分辨率（LR）图像对，模拟了Sentinel-2卫星图像的降质过程，为模型提供了丰富的训练数据。其核心应用在于通过高分辨率图像的恢复，提升遥感图像的细节表现，从而在农业监测、环境评估等领域发挥重要作用。

解决学术问题

SEN2NAIPv2数据集解决了遥感图像超分辨率研究中的关键问题，特别是在跨传感器和时间序列图像的反射率协调方面。通过引入反射率协调模型，该数据集有效解决了不同传感器间图像质量不一致的问题，提升了模型的泛化能力。此外，数据集的扩展版本通过增加图像数量和时间跨度，进一步推动了超分辨率技术的研究进展，为遥感图像处理领域提供了重要的实验基础。

衍生相关工作

SEN2NAIPv2数据集的发布催生了一系列相关研究工作，特别是在遥感图像处理和超分辨率技术领域。基于该数据集，研究者们开发了多种超分辨率模型，并通过实验验证了其在不同场景下的性能。此外，数据集的跨传感器和时间序列特性也激发了更多关于图像协调和降质模型的研究。这些衍生工作不仅推动了遥感技术的进步，也为其他领域的图像处理研究提供了新的思路和方法。