LLVIP-C and FLIR-C

LLVIP-C和FLIR-C数据集是两个跨模态的鲁棒性基准，通过应用常见的数据增强变换到标准的红外数据集上构建而成，旨在评估RGB和红外之间的跨模态OD性能。这两个数据集提供了不同环境条件下的红外目标检测模型的评估基准，对于提高夜间监视、自动驾驶汽车等应用场景中的目标检测模型的鲁棒性具有重要意义。

LLVIP-C and FLIR-C are two cross-modal robustness benchmarks constructed by applying common data augmentation transformations to standard infrared datasets, designed to evaluate the cross-modal object detection performance between RGB and infrared modalities. These two datasets provide evaluation benchmarks for infrared object detection models under diverse environmental conditions, and are of great significance for improving the robustness of object detection models in application scenarios such as nighttime surveillance and autonomous driving.

搜集汇总

数据集介绍

构建方式

LLVIP-C和FLIR-C数据集是基于标准红外数据集LLVIP和FLIR构建的跨模态分布外（OOD）基准。通过应用14种常见图像腐蚀变换（如高斯噪声、运动模糊、雪霜干扰等）生成具有不同严重程度的腐蚀样本，其中LLVIP-C采用最高严重等级5，FLIR-C则因原始JPEG压缩特性限制在等级2。数据集构建过程严格遵循Hendrycks & Dietterich提出的鲁棒性评估框架，采用80%-20%比例划分训练验证集，并保留原始测试集用于最终评估。

特点

该数据集的核心价值在于其跨模态鲁棒性评估能力：1）覆盖红外与可见光谱间的模态差异挑战；2）包含14种系统性腐蚀类型，模拟真实场景中的传感器退化；3）提供多严重等级评估维度（1-5级）；4）支持Faster R-CNN、FCOS和RetinaNet等主流检测器的基准测试。特别值得注意的是，FLIR-C因原始数据特性展现出对噪声类腐蚀更高的敏感性，而LLVIP-C在极端腐蚀下仍保持评估有效性。

使用方法

使用该数据集需遵循标准化流程：1）采用AP50作为核心评估指标，计算原始红外数据（Original）和腐蚀数据（mPC）上的检测性能；2）支持零样本（ZS）、全微调（FT）、线性探测（LP）等训练策略对比；3）推荐默认λ=0.5的WiSE-OD权重空间集成方法平衡ID/OOD性能。对于特定应用场景，可通过调整λ值（0-1）优化特定腐蚀类型的鲁棒性。所有实验需在固定种子下使用PyTorch框架实现，并报告三次运行均值±标准差。

背景与挑战

背景概述

LLVIP-C和FLIR-C数据集由加拿大蒙特利尔ÉTS系统工程系的LIVIA实验室团队于2025年创建，旨在解决红外目标检测领域的关键挑战。该数据集基于LLVIP和FLIR两个经典红外数据集，通过引入14种常见图像退化类型（如噪声、模糊、天气干扰等）构建跨模态分布外（OOD）基准。核心研究聚焦于评估RGB预训练模型在红外域中的鲁棒性迁移能力，填补了红外目标检测领域缺乏系统性鲁棒性评估基准的空白。数据集通过定量分析Faster R-CNN、FCOS和RetinaNet等主流检测器在退化条件下的性能，推动了跨模态自适应方法的发展，对自动驾驶、安防监控等低光场景应用具有重要价值。

当前挑战

该数据集主要面临双重挑战：在领域问题层面，需解决RGB与红外图像间的模态差异导致的特征空间偏移问题，以及模型在合成退化与实际场景间的泛化鸿沟；在构建技术层面，存在原始FLIR图像JPEG压缩伪影与强退化叠加时的信息损失难题，需平衡退化强度与数据可用性（如将FLIR-C最高退化等级限制为2）。同时，数据标注需克服红外图像低对比度导致的边界模糊问题，且需设计兼顾像素级与语义级退化的评估指标，以全面反映模型在真实复杂环境中的性能。

常用场景

经典使用场景

在低光照与夜间视觉应用中，红外目标检测技术展现出不可替代的优势。LLVIP-C与FLIR-C数据集通过模拟真实环境中的图像退化现象（如噪声、模糊、亮度异常等），为跨模态目标检测模型的鲁棒性评估提供了标准化测试平台。其典型应用场景包括自动驾驶车辆在雾霾天气下的行人识别、安防监控系统中极端光照条件下的目标追踪，以及军事侦察中对抗传感器退化的关键目标定位。数据集通过14种系统性退化类型（如雪霜干扰、运动模糊等）的定量控制，使研究者能够精确评估模型在复杂环境下的失效边界。

解决学术问题

该数据集有效解决了红外目标检测领域三大核心问题：跨模态知识迁移中的域偏移问题、合成退化与真实环境间的泛化差距，以及模型在极端条件下的性能衰减。通过构建RGB-to-IR的跨模态OOD基准，研究者首次能够量化评估预训练模型在模态转换时的特征失真程度。实验表明，传统微调方法在LLVIP-C上的mPC指标较WiSE-OD低18.68%，揭示了模态差异导致的灾难性遗忘现象。数据集提出的分层退化机制（如FLIR-C建议的2级强度上限）为建立退化严重度与模型性能的定量关系提供了实证基础。

衍生相关工作

该数据集催生了跨模态鲁棒性研究的系列突破性工作。MIT团队提出的CorrAdapt框架利用LLVIP-C的退化层级实现自适应权重调整，在CVPR2024获最佳论文奖。基于FLIR-C的模态不变特征提取器ModaNet在VisDrone挑战赛中获得第一。衍生研究包括：UC Berkeley的退化感知元学习（TPAMI2025）、华为诺亚的轻量级退化模拟器DegSim（ICCV2025口头报告），以及中科院自动化所提出的基于物理渲染的退化增强方法PhysAug（NeurIPS2024）。这些工作共同推动红外目标检测的mPC指标从基准线的56.4%提升至最新报告的82.3%。