Multi-spectral Object Detection

多光谱图像对可以提供组合信息，使对象检测应用在开放世界中更加可靠和健壮。为了充分利用不同的模态，本文提出了一种简单而有效的跨模态特征融合方法，称为跨模态融合变压器 (CFT)。与以前基于CNNs的工作不同，我们的网络在Transformer方案的指导下，在特征提取阶段学习远程依赖关系并集成全局上下文信息。更重要的是，通过利用变压器的自我关注，网络可以自然地同时执行模态内和模态间融合，并可靠地捕获RGB和热域之间的潜在相互作用。从而大大提高了多光谱目标检测的性能。在多个数据集上进行的大量实验和消融研究表明，该方案是有效的，并获得了最先进的检测性能。我们的代码和模型可在https://github.com/DocF/多光谱-对象检测。