HySpecNet-11k

HySpecNet-11k是由柏林工业大学和柏林学习与数据基础研究所创建的大型高光谱数据集，包含11,483个非重叠图像块，每个图像块大小为128×128像素，覆盖224个光谱带，地表采样距离为30米。该数据集通过EnMAP卫星采集，经过辐射、几何和大气校正处理。HySpecNet-11k主要用于学习和评估基于学习的高光谱图像压缩方法，也可用于任何无监督学习任务。数据集的创建解决了现有数据集在训练和评估学习型压缩方法时不足的问题，推动了高光谱图像分析领域的研究。HySpecNet-11k is a large-scale hyperspectral dataset created by Technische Universität Berlin and the Berlin Institute for Learning and Data Foundations. It comprises 11,483 non-overlapping image patches, each with a size of 128 × 128 pixels, spanning 224 spectral bands and featuring a ground sampling distance of 30 meters. The dataset was acquired via the EnMAP satellite and subjected to radiometric, geometric, and atmospheric corrections. HySpecNet-11k is primarily intended for learning and evaluating learning-based hyperspectral image compression methods, and can also be adapted for any unsupervised learning tasks. The development of this dataset addresses the shortcomings of existing datasets for training and evaluating learning-based compression approaches, thereby advancing research in the field of hyperspectral image analysis.

搜集汇总

数据集介绍

构建方式

HySpecNet-11k 数据集的构建采用了德国柏林工业大学和柏林学习与数据基础研究所的团队合作。他们利用了 EnMAP 卫星在 2022 年 11 月期间获取的 250 个图像块，经过辐射校正、几何校正和大气校正处理后，裁剪成 11,483 个非重叠的图像块。每个图像块大小为 128 × 128 像素，包含 224 个光谱波段，地面采样距离为 30 米。为了满足学习型超光谱图像压缩方法的需求，数据集被随机划分为训练集、验证集和测试集，分别为 70%、20% 和 10% 的图像块。此外，数据集还提供了两种不同的划分方式：patchwise splitting 和 tilewise splitting，以便于不同研究目的的使用。

特点

HySpecNet-11k 数据集的特点在于其规模庞大，包含了 11,483 个超光谱图像块，为学习型超光谱图像压缩方法提供了充足的训练数据。此外，该数据集还采用了 EnMAP 卫星获取的数据，具有高光谱分辨率和良好的地面采样距离。数据集的构建过程中还进行了辐射校正、几何校正和大气校正，确保了数据的准确性和可靠性。此外，数据集还提供了两种不同的划分方式，方便研究人员进行不同的实验。

使用方法

HySpecNet-11k 数据集的使用方法主要包括以下步骤：首先，从官方网站下载数据集和代码；其次，根据研究需要选择合适的划分方式，将数据集分为训练集、验证集和测试集；然后，使用提供的代码和预训练模型进行实验，例如基于卷积自动编码器（CAE）的压缩方法；最后，对实验结果进行评估和分析。此外，数据集还提供了详细的文档和说明，方便研究人员进行使用。

背景与挑战

背景概述

随着高光谱成像技术的发展，高光谱图像数据量呈现出指数级的增长。这些图像蕴含着丰富的光谱信息，能够有效地识别和区分场景中的物质。然而，如此庞大的数据量对存储提出了严峻的挑战。为了减少存储需求，高光谱图像压缩成为了一个关键的研究领域。传统的压缩方法如变换编码和量化已经取得了显著的成果，但随着深度学习技术的发展，基于学习的方法，尤其是卷积自动编码器（CAE），在保持重建质量的同时实现了更低的压缩率。HySpecNet-11k数据集正是在这样的背景下产生的，由德国柏林工业大学电气工程与计算机科学学院的Martin Hermann Paul Fuchs等人创建，旨在为基于学习的高光谱图像压缩方法提供一个大规模的基准数据集。该数据集包含11,483个非重叠的图像块，每个块包含128×128像素和224个光谱波段，地面样本距离为30米。HySpecNet-11k的创建填补了当前高光谱图像压缩领域数据集的不足，为相关研究提供了宝贵的资源，并对远程感知领域产生了深远的影响。

当前挑战

尽管HySpecNet-11k数据集为高光谱图像压缩研究提供了重要的基础，但仍面临着一些挑战。首先，该数据集虽然规模庞大，但在实际应用中，高光谱图像压缩方法仍需面对如何在不损失重要光谱信息的前提下实现更高压缩率的挑战。其次，在构建HySpecNet-11k数据集的过程中，研究人员需要考虑如何有效地从大量的高光谱图像中提取有代表性的图像块，并确保这些图像块能够充分反映不同地理区域和场景的特征。此外，由于高光谱图像的复杂性，如何设计能够有效学习高光谱图像压缩的深度学习模型，以及如何评估这些模型在不同压缩率下的性能，也是当前研究的重要挑战。

常用场景

经典使用场景

HySpecNet-11k数据集广泛应用于基于学习的超光谱图像压缩方法的评估和训练。该数据集由11,483个非重叠图像块组成，每个块包含128 × 128像素和224个光谱波段，地面采样距离为30米。这些图像块由EnMAP卫星获取，经过辐射校正、几何校正和大气校正处理，确保数据质量。HySpecNet-11k数据集的构建旨在解决现有超光谱数据集规模不足的问题，为学习基于超光谱图像压缩方法的研究提供了强大的数据支持。

实际应用

HySpecNet-11k数据集在实际应用中具有广泛的应用前景。超光谱图像压缩技术在遥感领域具有重要意义，可以有效降低存储需求，提高数据传输效率。HySpecNet-11k数据集可用于训练和评估基于学习的超光谱图像压缩算法，从而提高压缩性能，满足实际应用中对超光谱数据压缩的需求。

衍生相关工作

HySpecNet-11k数据集的发布促进了超光谱图像压缩领域的研究发展。基于HySpecNet-11k数据集，研究人员可以训练和评估不同类型的卷积自动编码器（CAE）架构，包括1D、2D和3D CAE。这些研究有助于推动基于学习的超光谱图像压缩技术的发展，为遥感领域的数据处理和应用提供更多可能性。