Real HSI-MSI-PAN image dataset

该数据集名为‘Real HSI-MSI-PAN image dataset’，由湖北定量遥感与大气重点实验室、武汉大学遥感信息工程学院和湖北珞珈实验室共同创建，用于高光谱/多光谱/全色图像融合与超分辨率领域。数据集包含高光谱、多光谱和全色图像，空间分辨率分别为30米、10米和2.5米，图像大小分别为[2071, 2033]、[6213, 6099]和[24852, 24396]。数据集通过资源-1 02D卫星获取，旨在解决模拟数据集在空间和光谱特征上的偏差问题，推动高光谱图像融合算法的发展和公平比较。

The dataset named "Real HSI-MSI-PAN Image Dataset" was jointly created by Hubei Key Laboratory of Quantitative Remote Sensing and Atmosphere, School of Remote Sensing and Information Engineering, Wuhan University, and Hubei Luojia Laboratory, targeting the research fields of hyperspectral, multispectral and panchromatic image fusion and super-resolution. It includes hyperspectral, multispectral and panchromatic images, with respective spatial resolutions of 30 m, 10 m and 2.5 m, and pixel dimensions of [2071, 2033], [6213, 6099] and [24852, 24396]. Acquired via the Ziyuan-1 02D satellite, this dataset is designed to resolve the discrepancies between simulated datasets and real-world data in terms of spatial and spectral characteristics, and advance the development of hyperspectral image fusion algorithms as well as facilitate fair comparative evaluations among different algorithms.

原始信息汇总

数据集概述

数据集名称

Real HSI/MSI/PAN images

数据来源

Ziyuan 1-02D satellite

数据描述

这三幅图像具有相同的空间覆盖范围，并且已经进行了空间配准。

关键词

数据集, 数据分享平台, 飞桨开放数据集, 飞桨星河社区, 图像超分辨率, 计算机视觉, 高光谱影响融合

搜集汇总

数据集介绍

构建方式

为了解决现有高光谱图像融合实验大多基于模拟数据集，导致融合算法的可信度和算法比较的公正性受到质疑的问题，李双良等研究者构建了一个真实的高光谱/多光谱/全色图像数据集。该数据集包括高光谱图像、多光谱图像和全色图像，三者空间上已经配准，可以进行HSI与MSI、HSI与PAN、MSI与PAN以及HSI、MSI、PAN三者之间的融合实验。数据集来源于资源一号02D卫星，包括了76个可见光和近红外波段的HSI图像，8个波段的MSI图像和1个波段的全色图像。为了进行融合实验，研究者还提供了数据预处理代码，包括生成低分辨率HSI和PAN图像、裁剪数据集为小片段等操作。

特点

该数据集的特点在于其真实性，可以避免模拟数据集带来的偏差，提高融合算法的可信度和算法比较的公正性。同时，该数据集包括了HSI、MSI和PAN三种类型的图像，可以进行多种融合实验。此外，数据集空间上已经配准，可以直接进行融合实验，方便了研究者的使用。

使用方法

使用该数据集时，首先需要从数据集官方网站下载数据集和预处理代码。然后，使用预处理代码生成低分辨率HSI和PAN图像，并将数据集裁剪为小片段。接着，可以使用深度学习等方法进行融合实验。最后，可以使用原始HSI图像作为参考图像，对融合结果进行评估。需要注意的是，在进行深度学习实验时，需要将数据集裁剪为小片段，并去除边界像素，以避免边界效应的影响。

背景与挑战

背景概述

高光谱图像（HSI）融合与超分辨率领域的研究日益重要，因为HSI提供了丰富的光谱信息，但在空间分辨率方面存在局限性。为了克服这一限制，研究者们探索了将HSI与其他辅助图像（如全色图像（PAN）和多光谱图像（MSI））融合的方法。然而，目前大多数HSI融合实验都是基于模拟数据集进行的，这些数据集在生成过程中使用的光谱响应函数和空间下采样函数可能不够准确，导致融合图像与真实图像之间存在偏差。为了促进HSI融合领域的发展，李双亮等人发布了一个真实HSI/MSI/PAN图像数据集。该数据集包括空间配准的高光谱、多光谱和全色图像，使得可以在HSI和MSI、HSI和PAN、MSI和PAN以及HSI、MSI和PAN之间进行融合。该数据集的发布有助于提高HSI融合算法的可靠性，促进算法之间的公平比较，并推动HSI融合领域的发展。

当前挑战

尽管Real HSI-MSI-PAN图像数据集的发布为HSI融合领域带来了重要进展，但仍面临一些挑战。首先，该数据集仅包含一个卫星（Ziyuan-1 02D）的图像，缺乏不同传感器或不同场景的图像数据，限制了其在更广泛场景下的适用性。其次，由于缺乏高分辨率高光谱图像（HRHSI）的真实参考图像，难以对融合算法进行精确评估，只能进行粗略的空间和光谱保真度比较。此外，对于深度学习方法，由于数据集的空间尺寸较大，需要进行裁剪处理，这可能导致边界像素信息丢失，影响融合效果。因此，未来研究可以探索更多样化的数据集，开发更精确的评估方法，以及改进深度学习模型以适应大规模数据集的处理。

常用场景

经典使用场景

Real HSI-MSI-PAN image dataset被广泛应用于高光谱/多光谱/全色图像融合与超分辨率领域的研究与开发。该数据集提供了真实的高光谱、多光谱和全色图像，这些图像在空间上进行了配准，从而可以执行HSI与MSI、HSI与PAN图像、MSI与PAN图像以及HSI、MSI和PAN图像之间的融合。

衍生相关工作

基于Real HSI-MSI-PAN image dataset，研究人员已经开展了一系列相关的工作，包括高光谱图像融合算法的研究、超分辨率技术的开发等。这些工作不仅推动了高光谱图像融合领域的发展，也为其他相关领域的研究和应用提供了新的思路和方法。

数据集最近研究

最新研究方向

在遥感领域，高光谱图像（HSI）因其丰富的光谱信息而被广泛应用于分类、光谱解混、矿产勘探等领域。然而，高光谱图像的空间分辨率较低，限制了其细节信息的获取。为了提高空间分辨率，研究人员探索了将低分辨率高光谱图像（LRHSI）与其他辅助图像（如全色图像（PAN）和多光谱图像（MSI））进行融合的方法。目前，存在多种融合策略，包括HSI与PAN图像融合、HSI与MSI图像融合以及HSI、MSI和PAN图像融合。这些策略各有优缺点，均为值得研究的热点方向。尽管已有大量研究工作在这些方向上展开，但它们大多基于模拟数据集进行融合实验和算法比较。模拟数据集的生成通常依赖于光谱响应函数和空间降采样函数，而这些函数的准确性难以保证，导致融合图像与真实图像之间的空间和光谱特征存在偏差，从而降低了融合算法的可信度。为了解决这个问题，本研究发布了一个真实HSI/MSI/PAN数据集，该数据集包含高光谱、多光谱和全色图像，这些图像在空间上进行了配准，可以进行HSI与MSI、HSI与PAN图像、MSI与PAN图像以及HSI、MSI和PAN图像之间的融合。使用该真实数据集进行融合实验可以消除所选光谱/空间降采样函数的偏差问题，并允许对算法进行更公平的比较，从而推动高光谱图像融合领域的发展。

相关研究论文

• Real HSI-MSI-PAN image dataset for the hyperspectral/multi-spectral/panchromatic image fusion and super-resolution fields

  湖北省定量遥感与大气环境重点实验室，武汉大学遥感信息工程学院，湖北珞珈实验室，武汉大学 · 2024年