MMOT

MMOT数据集是首个用于无人机多光谱多目标跟踪的大规模挑战性数据集，由北京理工大学的研究团队创建。该数据集包含125个视频序列，超过488.8K个标注的实例，涵盖了8个对象类别。数据集的特色在于其大规模、全面挑战性属性和精确的面向边界框标注，为无人机多光谱多目标跟踪研究提供了坚实的基础。

The MMOT dataset is the first large-scale challenging dataset for unmanned aerial vehicle (UAV) multispectral multi-object tracking, developed by the research team from Beijing Institute of Technology. It includes 125 video sequences, over 488.8K annotated instances, and covers 8 object categories. The dataset is characterized by its large scale, comprehensive challenging attributes, and precise bounding box-oriented annotations, which lays a solid foundation for research on UAV multispectral multi-object tracking.

搜集汇总

数据集介绍

构建方式

在无人机多目标跟踪领域，MMOT数据集通过搭载八波段多光谱相机的无人机平台进行系统性采集，覆盖80-200米动态飞行高度下的城市街道、交通枢纽等多种真实场景。数据采集严格遵循多样化原则，涵盖不同天气条件与时间段，最终形成125个视频序列、13.8K帧的高质量数据。标注过程采用五阶段人工标注流程，投入超5000工时，通过光谱辅助标注与时空一致性验证，确保488.8K个旋转边界框标注的几何精度与身份连续性。

使用方法

研究人员可通过伪RGB合成与全波段多光谱两种输入模式开展实验。针对多光谱数据特性，建议采用论文提出的光谱三维主干网络进行特征提取，该模块通过三维卷积保留光谱空间关联性，同时兼容RGB预训练权重。对于旋转标注的利用，可结合方向感知卡尔曼滤波改进运动建模，或通过角度预测头扩展端到端跟踪架构。基准测试推荐采用类别平均与检测平均双评估策略，使用HOTA、MOTA等标准指标进行性能度量，特别注意在小型目标密集场景下的光谱增益分析。

背景与挑战

背景概述

MMOT数据集由北京理工大学团队于2025年创建，是首个面向无人机平台的多光谱多目标跟踪基准。该数据集针对无人机视角下目标尺寸小、遮挡严重、背景复杂等核心问题，通过融合可见光至近红外的八波段光谱数据，突破传统RGB图像在空间特征退化场景下的识别瓶颈。其包含125个视频序列、48.8万组定向边界框标注，涵盖行人、车辆、非机动车等八类目标，为多光谱目标跟踪算法提供了关键数据支撑，显著推动了无人机感知技术在复杂环境下的研究进程。

当前挑战

该数据集致力于解决无人机多目标跟踪中因小目标、高密度遮挡和复杂运动导致的特征退化问题。构建过程中面临三大挑战：多光谱数据采集需保持八波段像素级对齐，在无人机动态飞行中实现跨模态时空同步；定向边界框标注需人工处理数千小时数据，通过五阶段流程确保旋转目标几何精度；长尾分布与运动耦合特性要求算法同时应对目标尺寸差异、平台抖动与快速位移，对特征提取与身份关联提出更高要求。

常用场景

经典使用场景

在无人机多目标跟踪领域，MMOT数据集凭借其多光谱特性和精确的定向边界框标注，成为评估先进跟踪算法的关键基准。该数据集通过融合可见光与近红外光谱信息，显著提升了在复杂空中场景下对小尺寸目标、密集遮挡和动态背景的跟踪鲁棒性，为研究者提供了探索光谱特征与空间运动模型协同作用的理想平台。

解决学术问题

MMOT数据集有效解决了传统RGB跟踪方法在无人机视角下面临的三大核心挑战：一是通过多光谱数据弥补空间特征退化导致的目标判别力不足；二是利用定向边界框降低空中视角下的目标空间模糊性；三是为多类别密集目标的长时身份关联提供标注支持。其丰富的光谱维度为研究跨模态特征融合、运动建模与身份保持机制奠定了数据基础。

实际应用

该数据集在智慧城市管理、应急救援与交通监控等领域展现广泛应用价值。多光谱特性使其在雾霾天气、夜间低光照等恶劣条件下仍能保持稳定的跟踪性能，定向标注则适用于桥梁巡检、港口物流调度等需要精确目标朝向分析的工业场景。其高密度小目标标注体系尤其适用于人群流量统计、违章车辆追踪等城市精细化治理任务。

数据集最近研究

最新研究方向

随着无人机遥感技术的飞速发展，基于多光谱影像的多目标跟踪成为计算机视觉领域的前沿热点。MMOT数据集的发布填补了无人机多光谱多目标跟踪领域的数据空白，其具备的125段视频序列、48.8万旋转边界框标注及八波段光谱特性，为突破传统RGB跟踪算法在微小目标、密集场景下的性能瓶颈提供了关键支撑。当前研究聚焦于多光谱特征融合与旋转感知跟踪架构的创新，通过轻量化光谱三维模块实现光谱-空间特征联合提取，结合方向感知卡尔曼滤波与端到端旋转自适应Transformer，显著提升了复杂航拍场景下的跟踪鲁棒性。该数据集正推动多模态学习与几何感知跟踪的深度融合，为智慧城市管理、应急救援等实际应用提供重要技术基石。

相关研究论文

• 通过

  北京理工大学 · 2025年