DenseSIRST

DenseSIRST是由南京理工大学计算机科学与工程学院创建的红外小目标检测数据集，专注于密集目标检测。该数据集提供了背景区域的像素级语义标注，支持从稀疏到密集目标检测的转变。数据集内容包括密集的小目标及其背景的详细分割，旨在解决复杂背景下的目标检测问题，特别是减少误报率。通过精细的背景语义模型，DenseSIRST支持开发更有效的检测算法。DenseSIRST is an infrared small target detection dataset created by the School of Computer Science and Engineering, Nanjing University of Science and Technology, which focuses on dense target detection. This dataset provides pixel-level semantic annotations for background regions, enabling the transition from sparse to dense target detection. The dataset includes detailed segmentations of dense small targets and their backgrounds, aiming to address the problem of target detection under complex backgrounds, particularly reducing the false positive rate. Through fine-grained background semantic models, DenseSIRST supports the development of more effective detection algorithms.

原始信息汇总

数据集概述

数据集名称

DenseSIRST Datasets

数据集链接

数据集下载链接

文件结构

angular2html |- data |- SIRSTdevkit |- PNGImages |- Misc_1.png ...... |- SIRST |- BBox |- Misc_1.xml ...... |- BinaryMask |- Misc_1_pixels0.png |- Misc_1.xml ...... |- PaletteMask |- Misc_1.png ...... |- Point_label |- Misc_1_pixels0.txt ...... |- SkySeg |- BinaryMask |- Misc_1_pixels0.png |- Misc_1.xml ...... |- PaletteMask |- Misc_1.png ...... |- Splits |- train_v2.txt |- test_v2.txt ......

• PNGImages：存储所有图像的文件夹。
• SIRST 和 SkySeg：存储标注文件的文件夹。
  • SIRST 对应红外小目标。
  • SkySeg 对应天空分割。

训练和测试

训练命令

shell $ CUDA_VISIBLE_DEVICES=0 python train.py <CONFIG_FILE>

示例： shell $ CUDA_VISIBLE_DEVICES=0 python tools/train_det.py configs/detection/fcos_changer_seg/fcos_changer_seg_r50-caffe_fpn_gn-head_1x_densesirst.py

测试命令

shell $ CUDA_VISIBLE_DEVICES=0 python test.py <CONFIG_FILE> <SEG_CHECKPOINT_FILE>

示例： shell $ CUDA_VISIBLE_DEVICES=0 python tools/test_det.py configs/detection/fcos_changer_seg/fcos_changer_seg_r50-caffe_fpn_gn-head_1x_densesirst.py work_dirs/fcos_changer_seg_r50-caffe_fpn_gn-head_1x_densesirst/20240719_162542/best_pascal_voc_mAP_epoch_8.pth

若要可视化结果，可在命令末尾添加 --show。

模型库和基准测试

排行榜

方法	主干网络	mAP<sub>07</sub>↑	recall<sub>07</sub>↑	mAP<sub>12</sub>↑	recall<sub>12</sub>↑	Flops↓	Params↓
One-stage
FCOS	ResNet50	0.232	0.315	0.204	0.324	50.291G	32.113M
SSD		0.211	0.421	0.178	0.424	87.552G	23.746M
GFL	ResNet50	0.253	0.332	0.230	0.317	52.296G	32.258M
ATSS	ResNet50	0.248	0.327	0.202	0.326	51.504G	32.113M
CenterNet	ResNet50	0.000	0.000	0.000	0.000	50.278G	32.111M
PAA	ResNet50	0.255	0.545	0.228	0.551	51.504G	32.113M
PVT-T		0.109	0.481	0.093	0.501	41.623G	21.325M
RetinaNet	ResNet50	0.114	0.510	0.086	0.523	52.203G	36.330M
EfficientDet		0.099	0.433	0.072	0.419	34.686G	18.320M
TOOD	ResNet50	0.256	0.355	0.226	0.342	50.456G	32.018M
VFNet	ResNet50	0.253	0.336	0.214	0.336	48.317G	32.709M
YOLOF	ResNet50	0.091	0.009	0.002	0.009	25.076G	42.339M
AutoAssign	ResNet50	0.255	0.354	0.180	0.314	50.555G	36.244M
DyHead	ResNet50	0.249	0.335	0.189	0.328	27.866G	38.890M
Two-stage
Faster R-CNN	ResNet50	0.091	0.022	0.015	0.029	0.759T	33.035M
Cascade R-CNN	ResNet50	0.136	0.188	0.139	0.194	90.978G	69.152M
Dynamic R-CNN	ResNet50	0.184	0.235	0.111	0.190	63.179G	41.348M
Grid R-CNN	ResNet50	0.091	0.018	0.025	0.037	0.177T	64.467M
Libra R-CNN	ResNet50	0.141	0.142	0.085	0.120	63.990G	41.611M
End2End
DETR	ResNet50	0.000	0.000	0.000	0.000	24.940G	41.555M
Deformable DETR	ResNet50	0.024	0.016	0.018	0.197	51.772G	40.099M
DAB-DETR	ResNet50	0.005	0.054	0.000	0.001	28.939G	43.702M
Conditional DETR	ResNet50	0.000	0.000	0.000	0.001	27.143G	40.297M
Sparse R-CNN	ResNet50	0.183	0.572	0.154	0.614	45.274G	0.106G
BAFE-Net (Ours)	ResNet50	0.270	0.332	0.236	0.329	69.114G	35.329M

模型库

模型和训练日志下载链接

搜集汇总

数据集介绍

构建方式

DenseSIRST数据集的构建方式独具匠心，通过结合真实场景与合成目标，实现了从稀疏到密集目标检测的过渡。该数据集不仅包含了从SIRSTv2中提取的真实红外图像，还引入了精心设计的合成目标，以模拟现实中的密集监控场景。具体而言，每张图像中随机定义1至3个‘密集区域’，每个区域大小为20×20像素，并随机填充8至12个来自目标库的小目标，这些目标尺寸调整至5×5像素以内，并通过高斯加权复制粘贴技术无缝集成到背景中，确保了目标与背景的自然融合。

使用方法

DenseSIRST数据集适用于开发和评估红外小目标检测算法，特别是针对密集目标场景的检测任务。研究人员可以利用该数据集进行模型的训练和验证，通过背景语义分割标注来提升模型对背景干扰的识别能力。具体使用方法包括：首先，加载数据集并进行预处理，确保图像和标注的一致性；其次，选择合适的深度学习框架和模型架构，如FCOS或BAFE-Net，进行模型的训练；最后，利用数据集中的测试集进行模型性能评估，重点关注目标检测的精度、召回率以及对复杂背景的适应性。通过这些步骤，研究人员可以有效地利用DenseSIRST数据集来推动红外小目标检测技术的发展。

背景与挑战

背景概述

红外小目标检测在长距离成像、夜间操作或可见度受限的环境中具有重要应用，如无人系统监控、海上目标搜索和救援任务。然而，由于目标内在特征的稀缺性和相似背景干扰的丰富性，红外小目标检测面临独特挑战。为应对这一问题，戴一勉等人于2024年提出了DenseSIRST数据集，该数据集提供了背景区域的逐像素语义标注，使从稀疏到密集目标检测的转变成为可能。DenseSIRST数据集的引入不仅提升了任务的难度和实际价值，还为研究人员开发利用背景语义信息的算法提供了坚实基础。

当前挑战

DenseSIRST数据集在构建过程中面临多重挑战。首先，红外小目标检测的领域问题在于目标内在特征的稀缺性和背景干扰的相似性，这使得区分真实目标与背景噪声变得极为困难。其次，构建过程中需克服目标稀疏分布的假设，确保数据集能够真实反映密集场景下的目标分布。此外，数据集的语义标注需精确且详尽，以支持背景语义的显式建模，这对标注的准确性和一致性提出了高要求。最后，数据增强技术的创新也是一大挑战，需确保增强后的数据既能提升模型性能，又不引入虚假目标或背景干扰。

常用场景

经典使用场景

DenseSIRST数据集在红外小目标检测领域中被广泛应用于密集目标检测任务。其经典使用场景包括无人机群防御、多目标跟踪系统以及大规模海上搜救行动。在这些场景中，目标通常以密集分布的形式出现，传统的稀疏目标检测方法难以应对。DenseSIRST通过提供密集目标的像素级语义标注，使得研究人员能够开发和验证针对密集红外小目标检测的算法，从而显著提升检测精度和效率。

解决学术问题

DenseSIRST数据集解决了红外小目标检测中的一个关键学术问题，即如何在密集分布的目标场景中有效区分目标与背景。传统的检测方法依赖于稀疏分布假设和局部对比度特征，这在密集场景中失效。DenseSIRST通过引入背景语义信息和密集目标标注，为研究人员提供了一个基准，推动了多任务学习框架的发展，如背景感知特征交换网络（BAFE-Net），显著提高了目标检测的准确性和鲁棒性。

实际应用

在实际应用中，DenseSIRST数据集被用于训练和验证红外小目标检测算法，这些算法广泛应用于军事监控、海上目标搜索和救援任务等领域。例如，在夜间或低能见度环境下，红外成像技术能够捕捉到远距离的小目标，DenseSIRST数据集为开发能够在复杂背景中准确检测这些目标的系统提供了必要的数据支持。通过使用该数据集，研究人员能够开发出更加鲁棒和高效的检测算法，从而提升实际应用中的目标识别能力。

数据集最近研究

最新研究方向

在红外小目标检测领域，DenseSIRST数据集的最新研究方向聚焦于利用背景语义信息来提升检测性能。研究者们通过引入背景感知特征交换网络（BAFE-Net），将目标检测与背景语义分割任务相结合，实现了从稀疏到密集目标检测的转变。BAFE-Net通过跨任务特征硬交换机制，有效地嵌入了目标与背景的语义信息，显著提高了检测精度并降低了误报率。此外，背景感知高斯复制粘贴（BAG-CP）方法的提出，进一步优化了数据增强策略，通过在训练过程中有选择地将小目标粘贴到天空区域，避免了复杂非天空背景中的虚假目标生成。这些研究不仅推动了红外小目标检测技术的发展，也为相关领域的算法设计提供了新的思路和方法。

相关研究论文

• Background Semantics Matter: Cross-Task Feature Exchange Network for Clustered Infrared Small Target Detection With Sky-Annotated Dataset

  南京理工大学计算机科学与工程学院 · 2024年