BihoT

BihoT数据集是由北京理工大学信息与电子学院和北京分形信号与系统重点实验室创建的大规模高光谱伪装目标跟踪数据集。该数据集包含41,912张高光谱图像，覆盖49个视频序列，主要用于解决在复杂环境中通过光谱信息进行目标跟踪的问题。数据集的创建过程中，收集了多种人工伪装场景下的图像，确保了数据集的多样性和挑战性。BihoT数据集的应用领域主要集中在高光谱伪装目标跟踪，旨在通过光谱特征提高跟踪算法的鲁棒性和准确性。The BihoT dataset is a large-scale hyperspectral camouflaged object tracking dataset developed by the School of Information and Electronics, Beijing Institute of Technology, and the Beijing Key Laboratory of Fractal Signal and System. This dataset includes 41,912 hyperspectral images across 49 video sequences, and is primarily designed to address the problem of object tracking using spectral information in complex environments. During the construction of the dataset, images from various artificial camouflage scenarios were collected to ensure its diversity and challenging characteristics. The application scope of the BihoT dataset is mainly focused on hyperspectral camouflaged object tracking, aiming to improve the robustness and accuracy of tracking algorithms via spectral features.

搜集汇总

数据集介绍

构建方式

BihoT数据集的构建旨在解决现有高光谱目标跟踪数据集中存在的视觉可区分性偏差。该数据集包含41,912幅高光谱图像，覆盖49个视频序列，采集于不同季节和光照条件下，以确保场景的多样性。图像采集过程中，相机位置、曝光时间、白平衡等参数保持一致，以保证图像质量。数据集包含了人工和真实的塑料水果或蔬菜作为目标，确保了伪装目标的获取。数据集还包含了9种挑战性因素的标注，包括背景杂波、快速运动、平面内旋转、光照变化、低分辨率、遮挡、平面外旋转、光谱一致性和光谱变化，以测试跟踪器的性能。

特点

BihoT数据集的特点在于其包含大量视觉相似但光谱不同的伪装目标，这使得视觉信息在跟踪过程中不可靠，从而突出了光谱信息的重要性。数据集是目前最大的25波段高光谱目标跟踪数据集，包含了49个高光谱视频序列，共41,912幅图像，平均每个视频序列包含855.35帧，为高光谱目标跟踪算法的发展提供了宝贵的资源。

使用方法

使用BihoT数据集的方法主要包括数据预处理、模型训练和评估。数据预处理包括图像的加载、归一化和增强等步骤。模型训练时，可以使用现有的高光谱目标跟踪算法或提出新的算法，并在数据集上训练。评估时，可以使用成功率和精确率等指标来衡量跟踪器的性能。

背景与挑战

背景概述

在视觉目标跟踪领域，Hyperspectral object tracking (HOT)技术在场景中具有潜在的应用价值，尤其是在物体伪装的场景中。现有的跟踪器可以利用波段重组有效地检索物体，因为现有的HOT数据集中大多数物体倾向于具有区分性的视觉外观而不是光谱特征。这种偏差使得跟踪器可以直接使用从高光谱图像生成的假彩色图像中获得的视觉特征，而不需要提取光谱特征。为了解决这种偏差，我们发现当物体外观不可靠时，跟踪器应该关注光谱信息。因此，我们提供了一个新的任务，称为hyperspectral camouflaged object tracking (HCOT)，并精心构建了一个大规模的HCOT数据集，称为BihoT，该数据集包含41,912张高光谱图像，涵盖49个视频序列。该数据集涵盖了各种人工伪装场景，其中物体具有相似的外观、多样的光谱和频繁的遮挡，这使得BihoT成为HCOT的一个极具挑战性的数据集。此外，我们还提出了一个简单而有效的基线模型，称为spectral prompt-based distractor-aware network (SPDAN)，包括一个spectral embedding network (SEN)、一个spectral prompt-based backbone network (SPBN)和一个distractor-aware module (DAM)。具体来说，SEN通过3-D和2-D卷积提取光谱-空间特征，以形成精细的提示表示。然后，SPBN使用光谱提示微调强大的RGB跟踪器，并减轻训练样本不足的问题。此外，DAM利用一种新颖的统计方法来捕获由遮挡引起的物体和背景的干扰，并通过一种新颖的运动预测器来纠正跟踪性能的下降。广泛的实验表明，我们提出的SPDAN在BihoT和其他HOT数据集上取得了最先进的性能。

当前挑战

HCOT数据集BihoT相关的挑战包括：1) 领域问题：BihoT旨在解决在视觉干扰下如何利用光谱信息跟踪物体的挑战，特别是在物体伪装的场景中。2) 构建过程中的挑战：构建BihoT数据集的挑战包括收集具有相似外观和多样光谱的物体，以及处理频繁的遮挡问题。为了解决这些挑战，我们提出了SPDAN模型，该模型结合了光谱嵌入网络和视觉Transformer骨干网络，以及一个干扰感知模块，以提高跟踪器的鲁棒性和准确性。

常用场景

经典使用场景

BihoT数据集主要应用于超光谱伪装目标跟踪（HCOT）任务。该数据集包含了大量具有相似外观、多样光谱和频繁遮挡的场景，为研究者在复杂环境下进行目标跟踪提供了丰富的数据支持。通过使用BihoT数据集，研究者可以训练和评估HCOT算法的性能，提高算法在现实世界中的应用能力。

衍生相关工作

BihoT数据集的提出衍生了一系列相关的研究工作。例如，研究者提出了基于光谱嵌入网络的SPDAN算法，该算法通过将空间和光谱信息转化为标记化特征，并融合光谱和视觉特征，有效地提高了HCOT算法的性能。此外，研究者还提出了基于注意力机制的DAM模块，该模块可以感知并纠正遮挡或背景干扰对跟踪结果的影响，进一步提高算法的鲁棒性。这些相关工作为HCOT领域的发展提供了新的思路和方向。

数据集最近研究

最新研究方向

随着高光谱图像在目标跟踪中的应用日益广泛，特别是对于伪装目标，研究者们发现现有的高光谱目标跟踪（HOT）数据集存在着一种偏差，即大部分物体更倾向于具有明显的视觉外观特征而非光谱特征。为了克服这种偏差，研究者们提出了一个新的任务——高光谱伪装目标跟踪（HCOT），并构建了一个大规模的HCOT数据集BihoT。该数据集包含49个视频序列的41,912张高光谱图像，涵盖了各种人工伪装场景，其中物体具有相似的外观、多样的光谱和频繁的遮挡，为HCOT任务带来了极大的挑战。此外，研究者们还提出了一种简单而有效的基线模型——基于光谱提示的干扰感知网络（SPDAN），包括光谱嵌入网络（SEN）、基于光谱提示的骨干网络（SPBN）和干扰感知模块（DAM）。该模型在BihoT和其他HOT数据集上取得了最先进的性能，为HCOT领域的研究提供了新的思路和方法。

相关研究论文

• BihoT: A Large-Scale Dataset and Benchmark for Hyperspectral Camouflaged Object Tracking

  北京理工大学信息与电子学院，北京分形信号与系统重点实验室 · 2024年