VIS-NIR patch dataset, VIS-LWIR patch dataset, OS patch dataset

VIS-NIR patch数据集、VIS-LWIR patch数据集和OS patch数据集是用于跨光谱图像块匹配的原始数据集。这些数据集被用于训练和测试KGL-Net模型，以实现跨光谱图像块匹配的性能提升。

The VIS-NIR patch dataset, VIS-LWIR patch dataset, and OS patch dataset are original datasets for cross-spectral patch matching. These datasets are utilized to train and test the KGL-Net model, aiming to improve the performance of cross-spectral patch matching.

原始信息汇总

数据集概述

数据集来源

1. VIS-NIR patch dataset

   • 链接1: https://ieeexplore.ieee.org/document/7789530
   • 链接2: https://ieeexplore.ieee.org/document/5995637

2. VIS-LWIR patch dataset

   • 链接1: https://ieeexplore.ieee.org/document/10251126
   • 链接2: https://ieeexplore.ieee.org/document/7789530

3. OS patch dataset

   • 链接1: https://ieeexplore.ieee.org/document/10164118
   • 链接2: https://ieeexplore.ieee.org/document/9204802

数据集下载

• 数据集下载链接: https://pan.baidu.com/s/1VssXkFsTwsbahIg6Q5Phag?pwd=1234

数据集使用

• 默认数据集: OS patch dataset
• 其他可选数据集: VIS-NIR patch dataset, VIS-LWIR patch dataset

数据集应用

• 训练模型: 使用命令 python train_KGL-Net.py --train_set=os_train --epoch_max=200 --dim_desc=128 --lr_scheduler=None
• 测试模型: 使用命令 python test_KGL-Net.py --train_set=os_train --train_out_fold_name=train_KGL-Net_HyNet_os_train_epochs_200_sz_64_pt_256_pat_2_dim_128_alpha_2_margin_1_2_drop_0_3_lr_0_005_Adam_None_aug

数据集结果

• VIS-NIR patch dataset 结果: 图片链接
• VIS-LWIR patch dataset 结果: 图片链接
• OS patch dataset 结果: 图片链接
• 定性结果: 图片链接

引用

• BibTeX: bibtex @misc{yu2024howknowledgeguidedlearningcrossspectral, title={Why and How: Knowledge-Guided Learning for Cross-Spectral Image Patch Matching}, author={Chuang Yu and Yunpeng Liu and Jinmiao Zhao and Xiangyu Yue}, year={2024}, eprint={2412.11161}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2412.11161}, }

• Word 引用:

  Chuang Yu, Yunpeng Liu, Jinmiao Zhao, and Xiangyu Yue. Why and How: Knowledge-Guided Learning for Cross-Spectral Image Patch Matching. arXiv preprint arXiv:2412.11161, 2024.

搜集汇总

数据集介绍

构建方式

VIS-NIR patch dataset、VIS-LWIR patch dataset和OS patch数据集的构建基于跨光谱图像匹配的研究需求。这些数据集通过整合不同光谱范围的图像数据，旨在解决现有方法在特征关系学习中的性能瓶颈问题。具体构建过程中，研究团队从原始数据集中提取并处理图像块，确保数据的高质量和多样性，从而为知识引导学习网络（KGL-Net）的训练和测试提供坚实基础。

特点

该数据集的特点在于其跨光谱特性，涵盖了可见光-近红外（VIS-NIR）、可见光-长波红外（VIS-LWIR）以及光学-合成孔径雷达（OS）等多种光谱组合。数据集中包含丰富的图像块样本，能够有效支持特征关系学习和度量学习的结合。此外，数据集还首次实现了对度量网络的硬负样本挖掘，显著提升了模型性能。

使用方法

使用该数据集时，首先需从指定链接下载并解压数据至项目根目录。随后，通过Anaconda创建虚拟环境并安装所需的依赖库。用户可通过修改代码中的默认设置或直接使用命令行参数，选择不同的数据集进行模型训练和测试。训练完成后，模型可在相同数据集上进行性能评估，生成定量和定性结果，以验证跨光谱图像匹配的效果。

背景与挑战

背景概述

跨光谱图像匹配技术近年来在计算机视觉领域引起了广泛关注，尤其是在特征关系学习的基础上，VIS-NIR、VIS-LWIR和OS patch数据集的构建为这一研究方向提供了重要的数据支持。这些数据集由多个研究机构共同开发，旨在解决不同光谱图像之间的匹配问题。其中，VIS-NIR数据集专注于可见光与近红外光谱的匹配，VIS-LWIR数据集则聚焦于可见光与长波红外光谱的匹配，而OS patch数据集则进一步扩展了应用场景，涵盖了更广泛的光谱范围。这些数据集的创建为跨光谱图像匹配算法的研究提供了坚实的基础，推动了相关领域的快速发展。

当前挑战

跨光谱图像匹配面临的主要挑战在于不同光谱图像之间的特征差异显著，导致传统匹配方法难以取得理想效果。尽管现有方法在特征提取和度量学习方面取得了一定进展，但性能瓶颈问题依然存在。构建这些数据集的过程中，研究人员需要克服数据采集难度大、标注成本高以及跨光谱特征对齐复杂等挑战。此外，如何在保证数据多样性的同时，确保数据质量的一致性，也是数据集构建中的一大难题。这些挑战不仅影响了数据集的构建效率，也对后续算法的性能提升提出了更高的要求。

常用场景

经典使用场景

在跨光谱图像匹配领域，VIS-NIR、VIS-LWIR和OS patch数据集被广泛应用于特征关系学习的研究中。这些数据集通过提供不同光谱条件下的图像对，帮助研究者探索和优化跨光谱图像匹配算法。特别是在知识引导学习网络（KGL-Net）的框架下，这些数据集被用于训练和测试模型，以实现更高效的跨光谱图像匹配。

解决学术问题

这些数据集有效解决了跨光谱图像匹配中的性能瓶颈问题。通过提供高质量的多光谱图像对，研究者能够深入分析不同光谱条件下的图像特征，并开发出更为鲁棒和高效的匹配算法。KGL-Net的成功应用进一步证明了这些数据集在提升跨光谱图像匹配性能方面的显著作用。

衍生相关工作

基于这些数据集，研究者们开发了一系列经典的跨光谱图像匹配算法。KGL-Net作为其中的代表，通过引入知识引导学习机制，显著提升了跨光谱图像匹配的性能。此外，这些数据集还催生了多篇高影响力的学术论文，推动了跨光谱图像匹配领域的研究进展。