MCMD-DroneVehicle

我们基于已配准的红外-可见光图像对和DroneVehicle数据集的检测标注，构建了MCMD-DroneVehicle。该基准引入了模态耦合多退化协议，用于无人机红外-可见光图像融合。与主要退化单一模态或独立处理两个模态的传统退化融合数据集不同，MCMD-DroneVehicle联合考虑了可见光特定退化、红外特定退化以及物理上合理的跨模态退化耦合。We present MCMD-DroneVehicle, a benchmark constructed based on registered infrared-visible image pairs and the detection annotations from the DroneVehicle dataset. This benchmark proposes a modality-coupled multi-degradation protocol for UAV infrared-visible image fusion. Unlike conventional degraded fusion datasets that either solely degrade a single modality or process the two modalities separately, MCMD-DroneVehicle jointly incorporates visible-specific degradation, infrared-specific degradation, and physically plausible cross-modal degradation coupling.

原始信息汇总

数据集概述：MCMD-DroneVehicle

• 所属项目：Structure Reliability Guided Infrared-Visible Image Fusion for Multi-Degradation Drone Imagery
• 数据集名称：MCMD-DroneVehicle
• 构建基础：基于已配准的红外-可见光图像对及DroneVehicle数据集的检测标注
• 核心特性：引入了模态耦合的多退化协议（Modality-Coupled Multi-Degradation），针对无人机红外-可见光图像融合任务，综合考虑三种退化类型：
  • 可见光特有的退化
  • 红外特有的退化
  • 物理上合理的跨模态退化耦合
• 与现有数据集的区别：传统退化融合数据集通常只退化单一模态或独立处理两模态，而本数据集联合考虑了双向退化耦合

获取方式

• 下载链接：MCMD-DroneVehicle.zip
• 提取码：ukd5

使用许可

• 该数据集仅限学术研究用途，未经许可不得用于商业目的

联系方式

• 相关问题可通过GitHub Issues或邮箱（[e-mail]）联系作者

搜集汇总

数据集介绍

构建方式

在无人机成像领域，红外与可见光图像融合常受限于单一模态或独立退化的数据集，难以模拟真实场景下的复杂退化耦合。MCMD-DroneVehicle数据集基于DroneVehicle中已配准的红外-可见光图像对及检测标注构建，创新性地提出了模态耦合多重退化协议。该协议联合考虑可见光特有退化、红外特有退化以及物理上合理的跨模态退化耦合，而非简单独立处理两模态，从而更真实地还原无人机影像中的多源退化现象。

使用方法

MCMD-DroneVehicle数据集已通过百度网盘公开下载，仅供学术研究使用。用户下载压缩包后，可直接利用其中的红外-可见光图像对及对应检测标注进行模型训练与评估。该数据集与常见红外-可见光融合框架兼容，研究者可将其作为基准，验证本方法在模态耦合多重退化下的融合性能。训练与测试代码将在论文接收后正式发布，届时可结合仓库提供的信息复现实验。

背景与挑战

背景概述

无人机视觉感知在复杂环境中常面临红外与可见光图像的多重退化问题，如光照不足、雾霾遮挡及传感器噪声等，传统融合方法往往仅针对单一模态退化或独立处理双模态，难以应对真实场景下的耦合退化挑战。为此，北京航空航天大学研究团队在2024年提出了MCMD-DroneVehicle数据集，基于DroneVehicle中的对齐红外-可见光图像对与检测标注，构建了首个面向无人机航拍图像的模态耦合多退化融合基准。该数据集引入可见光特有退化、红外特有退化及物理合理的跨模态退化耦合机制，旨在为红外-可见光图像融合研究提供更具现实意义的评估平台，推动无人机自主感知系统在恶劣环境下的鲁棒性提升。

当前挑战

当前核心挑战包括：第一，领域问题层面，现有融合方法无法有效处理可见光图像中的低照度、运动模糊与红外图像中的热噪声、低对比度等特殊退化，更缺乏对两者间耦合退化（如雨雾同时影响两种模态）的建模能力，导致融合结果在目标检测等下游任务中性能退化显著。第二，数据集构建过程中，需在保持物理合理性的前提下，精准设计可见光与红外退化的协同增强策略，确保退化类型覆盖真实飞行场景，同时避免引入人工伪影干扰模型训练，这对退化参数标定与模态间一致性验证提出了严苛要求。

常用场景

经典使用场景

MCMD-DroneVehicle数据集专为无人机红外与可见光图像融合任务而设计，其核心应用场景集中于多退化条件下的鲁棒融合算法开发。通过引入模态耦合多退化协议，该数据集联合建模了可见光特异性退化、红外特异性退化以及物理合理的跨模态退化耦合，为算法在低光照、雾霾、热噪声等复杂环境下的性能评估提供了标准化基准。研究者可基于此数据集训练和测试融合模型，以提升无人机在目标检测、跟踪等下游任务中的感知鲁棒性，尤其适用于需要全天候、多模态信息互补的空中视觉系统。

解决学术问题

该数据集解决了现有融合研究中普遍忽视的退化耦合问题——传统数据集通常仅退化单一模态或独立处理两模态，而现实中无人机获取的红外与可见光图像往往同时遭受多种关联性退化。MCMD-DroneVehicle通过显式引入模态耦合退化机制，为学术研究提供了模拟真实物理场景的挑战性基准，推动了融合算法从理想环境向实际复杂环境的性能迁移。其意义在于促进了红外-可见光融合领域对退化鲁棒性的深入探讨，为设计更具泛化能力的融合模型奠定了数据基础，并填补了多退化耦合场景下标准化评估的空白。

实际应用

在实际应用中，MCMD-DroneVehicle显著提升了无人机视觉系统的环境适应性，尤其在军事侦察、灾后救援、夜间巡逻等需低光或隐蔽作业的场景中发挥关键作用。基于该数据集训练的融合模型能够有效应对无人机飞行中常见的运动模糊、热红外传感器噪声、可见光过曝或欠曝等复杂退化，生成高质量融合图像以支撑自动化目标识别与追踪。此外，该数据集还可辅助开发实时融合处理器，赋能工业巡检、农业监测等民用领域，通过增强全天候感知能力，降低人工分析负担。

数据集最近研究

最新研究方向

当前无人机视觉领域正面临多退化环境下的多模态图像融合挑战，现有方法多聚焦于单一模态或独立退化场景，难以应对真实世界中可见光与红外图像间耦合的复杂退化问题。MCMD-DroneVehicle数据集的提出，开创性地引入了模态耦合多退化协同建模协议，通过联合考虑可见光特异性退化、红外特异性退化以及物理合理的跨模态退化耦合，为鲁棒性红外-可见光融合研究提供了标准化评估基准。这一工作紧密围绕结构可靠性引导的融合框架，致力于在低光照、雾霾、热噪声等多重退化条件下提升无人机感知系统的环境适应能力，对推动复杂动态场景下的自动驾驶、安防监控等前沿应用具有重要的理论突破与工程实践意义。