MUST

MUST数据集是由北京理工大学研究团队创建的首个大规模多光谱无人机单目标跟踪数据集，包含250个视频序列，覆盖了多种环境和挑战，为多光谱无人机跟踪提供了全面的数据基础。该数据集具有1200×900像素的分辨率和8个光谱波段，包括可见光和近红外波段。MUST数据集的创建旨在推动多光谱无人机跟踪方法的发展和评估。

The MUST dataset is the first large-scale multispectral unmanned aerial vehicle (UAV) single-object tracking dataset developed by the research team from Beijing Institute of Technology. It contains 250 video sequences covering diverse environments and challenging scenarios, providing a comprehensive data foundation for multispectral UAV tracking. The dataset has a resolution of 1200×900 pixels and 8 spectral bands, including visible light and near-infrared bands. The creation of the MUST dataset aims to promote the development and evaluation of multispectral UAV tracking methods.

搜集汇总

数据集介绍

构建方式

MUST数据集作为首个专为多光谱无人机单目标跟踪任务设计的大规模数据集，其构建过程体现了严谨的科学方法论。研究团队采用专业级无人机搭载8波段多光谱相机（390-950nm波长范围）进行数据采集，通过几何校正和辐射校正确保数据质量。数据覆盖20-250米飞行高度下的250个视频序列（43,000帧，1200×900分辨率），并采用DarkLabel工具进行专家标注。为增强数据多样性，采集过程涵盖了12类典型挑战场景（如小目标、背景干扰等），并通过随机划分确保训练集（160序列）与测试集（90序列）在目标尺度和挑战属性上的均衡分布。

特点

该数据集的核心价值在于其多模态特性和挑战导向的设计。8个光谱波段同时覆盖可见光与近红外谱段，为目标识别提供了超越RGB数据的物质反射特性信息。每个序列标注包含边界框坐标和12种挑战状态标志（如遮挡、快速运动等），其中63.2%的目标尺寸小于图像面积的0.003%，真实反映了高空拍摄的跟踪难点。统计显示挑战属性均匀分布，且包含8类典型目标（车辆、行人等），其多光谱数据在相似颜色场景下展现出比RGB数据高41.7%的目标区分能力。

使用方法

该数据集支持端到端的多光谱跟踪算法开发与评估。使用建议包括：1）利用8波段数据构建光谱特征提取模块，建议采用论文提出的参数重构策略（CIE标准波长映射）初始化网络；2）针对小目标挑战，推荐使用全局平均池化处理低分辨率特征；3）评估时应结合12类属性分析，特别注意OV（出视野）和SC（相似颜色）等关键场景。官方提供帧级标注文件和挑战属性索引，支持Success Plot和Normalized Precision等标准指标计算。对于实时性要求，建议将输入尺寸规范化为384×384（搜索区域）和192×192（模板）。

背景与挑战

背景概述

MUST数据集由北京理工大学的秦浩林、徐廷法等研究人员于2024年提出，是首个面向多光谱无人机单目标跟踪任务的大规模基准数据集。该数据集包含250段视频序列、共计43,000帧图像，覆盖可见光与近红外共8个光谱波段，空间分辨率达1200×900像素。针对无人机跟踪中普遍存在的小目标、遮挡、背景干扰等核心问题，MUST通过精心设计的12类挑战属性系统，为多光谱目标跟踪算法的开发与评估提供了重要数据支撑。该数据集的建立填补了多光谱无人机跟踪领域的数据空白，其多模态特性和真实场景复杂度显著推动了计算机视觉与遥感技术的交叉研究。

当前挑战

MUST数据集主要应对两大挑战：在领域问题层面，传统RGB跟踪器难以处理光谱相似背景干扰、目标尺度剧烈变化及长期遮挡等复杂场景，而多光谱数据固有的物质反射特性为这些难题提供了新的解决路径；在构建过程中，研究团队需克服多光谱传感器校准、跨波段配准、高空拍摄目标微小化等工程技术难题，同时通过辐射校正和几何校正确保数据质量。此外，标注阶段需处理多光谱数据特有的语义鸿沟问题，专家需综合8个波段信息进行精确标注，这对标注规范制定和质量控制提出了更高要求。

常用场景

经典使用场景

在无人机视觉跟踪领域，MUST数据集作为首个多光谱无人机单目标跟踪基准，其经典应用场景聚焦于复杂环境下的目标持续定位。通过融合可见光与近红外8个波段的光谱数据，该数据集特别适用于解决目标尺寸微小、背景干扰严重以及光照条件多变等传统RGB跟踪器难以应对的挑战。研究者可基于250段高分辨率视频序列（1200×900像素）开发算法，其中12类标注挑战属性为评估跟踪器鲁棒性提供了标准化测试环境。

衍生相关工作

MUST数据集催生了多光谱跟踪领域的系列创新研究：其基线模型UNTrack提出的谱提示编码器(Spectrum Prompt Encoder)被《HIPTrack》改进为历史提示机制；非对称注意力结构启发了《ZoomTrack》的动态背景消除策略；数据集构建方法影响了后续《VTUAV》等跨模态基准的创建。在IEEE TIP期刊上，《SiamHYPER》等研究通过迁移学习将MUST的谱特征知识迁移至RGB跟踪器，验证了跨模态知识蒸馏的可行性。该数据集还促进了《TMTNet》等新型网络在遥感目标跟踪中的应用。

数据集最近研究

最新研究方向

近年来，随着无人机技术和多光谱成像技术的快速发展，MUST数据集作为首个专注于多光谱无人机单目标跟踪的大规模数据集，已成为该领域的研究热点。该数据集通过整合8个光谱波段的高分辨率视频序列，为解决传统RGB跟踪器在小目标、遮挡和复杂背景等挑战中的局限性提供了新的数据基础。前沿研究主要集中在多模态特征融合、光谱提示学习和高效注意力机制的设计上，特别是通过非对称Transformer架构和光谱背景消除机制来提升跟踪精度与效率。相关技术已被证明在热红外目标跟踪和跨模态迁移学习等场景中具有显著优势，为智慧城市、农业监测和灾害救援等实际应用提供了重要技术支持。

相关研究论文

• MUST: The First Dataset and Unified Framework for Multispectral UAV Single Object Tracking

  北京理工大学 · 2025年