MM-UAV

MM-UAV是第一个用于反无人机应用的大规模三模态基准数据集。该数据集包含1301个序列（1200个用于训练，121个用于测试），涵盖三种模态（RGB + 红外 + 事件数据）。每种模态包含约280万张图像帧。

MM-UAV is the first large-scale three-modal benchmark dataset for anti-drone applications. This dataset contains 1301 sequences (1200 for training and 121 for testing), covering three modalities: RGB, infrared, and event data. Each modality includes approximately 2.8 million image frames.

原始信息汇总

MM-UAV Benchmark 数据集概述

数据集基本信息

• 数据集名称：MM-UAV Benchmark
• 数据集类型：三模态基准数据集
• 应用领域：反无人机应用
• 数据规模：1,301个序列（训练集1,200个，测试集121个）
• 图像帧数：每个模态约280万帧图像

模态组成

• RGB模态：可见光图像数据
• IR模态：红外图像数据
• Event Data模态：事件数据

数据集特点

• 首个大规模三模态反无人机基准数据集
• 覆盖三种数据模态（RGB + 红外 + 事件数据）
• 遵循MOT（多目标跟踪）格式
• 支持多模态多目标跟踪任务
• 提供单目标地面真值，兼容单目标跟踪方法

目录结构

MM-UAV/ ├── train/ │ └── 序列编号/ │ ├── rgb_frame/ # RGB图像帧 │ ├── ir_frame/ # 红外图像帧 │ ├── event_frame/ # 事件数据帧 │ ├── gt_ir/ # 红外地面真值 │ ├── gt_rgb/ # RGB地面真值 │ ├── sot_groundtruth/ # 单目标跟踪地面真值 │ ├── seqinfo-rgb.ini # RGB序列信息 │ └── seqinfo-ir.ini # 红外序列信息

技术规格

• 提取后大小：约400 GB
• 下载链接：https://pan.baidu.com
• 基准页面：https://xuefeng-zhu5.github.io/MM-UAV/
• 评估工具：https://github.com/JJGU2291/MM-UAV-Evaluation-ToolKit/tree/main

基准方法

• 基线方法：MMA-SORT
• 检测器基础：YOLOX
• 跟踪方法：基于BoT-SORT改进
• 核心创新：跨模态空间对齐和融合模块，利用事件模态实现更准确的身份关联

搜集汇总

数据集介绍

构建方式

在无人机追踪领域，多模态数据融合正成为提升环境感知能力的关键路径。MM-UAV数据集通过同步采集RGB可见光、红外热成像与事件流数据构建而成，涵盖1301组序列共计约280万帧图像，其中训练集与测试集分别配置1200组与121组序列。该数据集严格遵循多目标追踪格式，并在目录结构中分别存储三种模态的帧序列与标注文件，同时提供单目标追踪专用标注以实现算法兼容性。

特点

作为首个面向反无人机应用的大规模三模态基准数据集，MM-UAV的突出特性体现在其多源异构数据的协同表征能力。RGB模态提供丰富的纹理细节，红外模态确保夜间与恶劣天气下的目标可见性，事件流数据则通过异步像素级亮度变化捕获高速运动轨迹。三种模态在时空维度严格对齐，有效解决了传统单模态数据在复杂场景下的感知局限，为跨模态融合算法研究提供了理想实验平台。

使用方法

基于该数据集的典型应用流程包含数据预处理、模型训练与性能评估三个阶段。研究者需先将MOT格式原始数据转换为COCO标准格式，通过两阶段训练策略优化检测器：先训练双流YOLOX基础网络，再引入可变形对齐或空间变换网络模块进行跨模态特征融合。追踪阶段可调用MMA-SORT基线系统，结合事件模态数据提升身份关联精度，最终通过专用评估工具包对追踪结果进行定量分析。

背景与挑战

背景概述

随着无人机技术的快速发展，反无人机系统在安防领域的重要性日益凸显。MM-UAV数据集作为首个大规模三模态反无人机基准数据集，由研究团队于2025年推出，旨在解决复杂环境下无人机目标的精准追踪问题。该数据集涵盖RGB、红外和事件数据三种模态，包含1,301个序列与约280万帧图像，为多模态融合算法研究提供了重要支撑。其创新性地整合了跨模态时空信息，显著推动了智能感知技术在动态目标追踪领域的发展。

当前挑战

在反无人机领域，目标追踪面临小尺度目标易丢失、复杂背景干扰及跨模态数据对齐等核心难题。MM-UAV数据集构建过程中需克服多传感器同步采集的技术瓶颈，确保三种模态数据在时空维度的一致性。同时，海量数据的标注工作涉及跨模态目标关联的复杂性，如何建立统一评估标准以验证多模态算法的泛化能力，亦是该数据集需要持续优化的方向。

常用场景

经典使用场景

在无人机监控与反制领域，MM-UAV数据集作为首个大规模三模态基准数据集，其经典应用聚焦于多模态目标跟踪任务。通过整合RGB视觉、红外热成像与事件数据流，该数据集为复杂环境下的无人机动态追踪提供了跨模态融合研究平台，尤其在低光照、高速运动及背景干扰等挑战性场景中展现出卓越的数据完备性。

实际应用

在民用安防与军事防御体系中，MM-UAV支撑的算法已应用于关键基础设施防护、边境巡逻及城市空域管理等实际场景。其多模态特性特别适用于夜间监控、恶劣天气条件下的无人机侦测，通过事件相机的微秒级响应能力，实现了对高速移动目标的实时精准定位与轨迹预测。

衍生相关工作

基于该数据集衍生的MMA-SORT基线系统创新性地引入了可变形对齐与时空变换网络，启发了系列跨模态跟踪研究。后续工作如多模态重识别网络架构、自适应融合机制等均受其启发，逐步形成了以三模态协同感知为核心的技术路线，推动了整个反无人机技术生态的演进。