SARDet-100K, DOTA, DroneVehicle

该研究构建了一个多模态遥感目标检测的基准数据集，融合了SARDet-100K、DOTA和DroneVehicle三个数据集，涵盖了SAR、光学和红外等多种传感器模态。数据集旨在解决多模态遥感图像中的目标检测问题，特别是针对水平或旋转边界框的检测任务。通过整合不同模态的数据，该数据集为多任务学习提供了丰富的训练样本，能够有效提升模型在复杂场景下的泛化能力。数据集的应用领域包括无人机、卫星遥感等低空经济与地球观测任务，旨在实现多传感器数据的统一处理与高效检测。This study constructs a benchmark dataset for multimodal remote sensing object detection, which integrates three datasets: SARDet-100K, DOTA, and DroneVehicle, covering multiple sensor modalities including SAR, optical, and infrared. This dataset is designed to solve object detection problems in multimodal remote sensing images, particularly detection tasks with horizontal or rotated bounding boxes. By integrating data from different modalities, it provides abundant training samples for multi-task learning, effectively improving the generalization capability of models in complex scenarios. The application fields of this dataset include low-altitude economy and Earth observation tasks such as unmanned aerial vehicle (UAV) and satellite remote sensing, aiming to realize unified processing and efficient detection of multi-sensor data.

搜集汇总

数据集介绍

构建方式

SARDet-100K、DOTA和DroneVehicle数据集的构建基于多模态遥感图像的目标检测需求。SARDet-100K数据集包含合成孔径雷达（SAR）图像，涵盖六类目标，如飞机、船舶等，标注为水平边界框（HBB）。DOTA数据集则基于光学图像，包含15类目标，标注为旋转边界框（OBB）。DroneVehicle数据集则基于红外图像，包含五类车辆目标，标注同样为旋转边界框。这些数据集通过合并形成了一个多模态基准数据集SOI-Det，涵盖了SAR、光学和红外三种模态，旨在支持多模态和多任务目标检测的研究。

特点

SARDet-100K、DOTA和DroneVehicle数据集的特点在于其多模态性和多样化的标注格式。SARDet-100K专注于SAR图像，具有独特的雷达反射特性；DOTA数据集提供了高分辨率的光学图像，适合复杂场景下的目标检测；DroneVehicle数据集则通过红外图像捕捉车辆目标，适用于低光照条件下的检测任务。这些数据集共同构成了一个多模态、多任务的检测基准，能够有效支持模型在不同模态和任务之间的知识迁移与联合优化。

使用方法

SARDet-100K、DOTA和DroneVehicle数据集的使用方法包括单模态和多模态联合训练。在单模态训练中，模型分别在每个数据集上进行训练和评估。在多模态联合训练中，数据集被合并为SOI-Det，模型通过统一的框架处理不同模态的图像，并执行多任务检测。训练过程中，采用动态学习率调整策略（DLA）和稀疏混合专家（MoE）架构，以应对不同模态和任务之间的学习难度差异，确保模型在多模态场景下的高效优化和性能提升。

背景与挑战

背景概述

随着遥感技术的快速发展，高分辨率多模态影像的获取变得更加广泛。传统的目标检测模型通常基于单一数据集进行训练，局限于特定的成像模态和标注格式，忽视了多模态之间的共享知识，限制了模型在多样化场景中的适用性。为解决这一问题，研究者提出了多模态数据集与多任务目标检测（M2Det）任务，旨在从任何传感器模态中准确检测水平或定向目标。该任务由南开大学计算机科学与技术学院的李宇轩、李翔等研究人员于2024年提出，并构建了包含SARDet-100K、DOTA和DroneVehicle的基准数据集。这一研究填补了多模态遥感目标检测领域的空白，推动了遥感目标检测技术的发展。

当前挑战

多模态遥感目标检测面临多重挑战。首先，不同模态（如SAR、光学和红外）之间的数据表示差异显著，导致模态间信息整合困难，传统模型难以有效处理多模态数据的多样性。其次，遥感数据集中包含多种标注类型（如水平边界框和定向边界框），进一步增加了模型学习的复杂性。此外，构建过程中需要处理多模态数据的对齐问题，传统方法依赖空间对齐算法，限制了模型的灵活性。最后，多任务优化中的学习难度不一致性可能导致模型优化方向冲突，影响整体性能。这些挑战要求模型在架构设计和优化策略上进行创新，以实现多模态数据的有效融合与多任务的协同优化。

常用场景

经典使用场景

SARDet-100K、DOTA和DroneVehicle数据集在遥感目标检测领域具有广泛的应用，尤其是在多模态数据融合的场景中。这些数据集通常用于训练和评估多模态目标检测模型，如SM3Det，以检测来自不同传感器（如SAR、光学和红外）的图像中的目标。通过整合这些数据集，研究者能够开发出能够处理多种传感器数据的统一模型，从而提升模型在复杂环境中的检测能力。

实际应用

在实际应用中，SARDet-100K、DOTA和DroneVehicle数据集被广泛用于无人机和卫星图像的目标检测任务。例如，无人机和卫星通常携带多种传感器，能够同时获取SAR、光学和红外图像。通过使用这些数据集训练的模型，无人机和卫星能够更高效地检测和识别地面目标，如车辆、建筑物和船只。这些应用在低空经济、低空监视和地球观测等领域具有重要意义。

衍生相关工作

基于SARDet-100K、DOTA和DroneVehicle数据集，研究者提出了多种经典的多模态目标检测模型。例如，SM3Det模型通过引入网格级稀疏MoE架构和动态学习率调整策略，显著提升了多模态目标检测的性能。此外，UniDet、DA网络和不确定性损失等方法也在这些数据集上进行了广泛的研究和应用。这些工作不仅推动了遥感目标检测领域的发展，还为其他多模态数据融合任务提供了新的思路和方法。