RIVS

RIVS是一个用于真实世界红外图像超分辨率的红外-可见光配对基准数据集，提供对齐的低质量-高质量红外对以及共配准的高质量可见光参考图像，通过专门的红外高阶退化管道生成，模拟真实热传感器损坏（条纹噪声、椒盐噪声、模糊、复合噪声、JPEG等）。RIVS is an infrared-visible paired benchmark dataset for real-world infrared image super-resolution. It provides aligned low-quality and high-quality infrared image pairs, as well as co-registered high-quality visible light reference images. The dataset is generated via a specialized infrared high-order degradation pipeline, which simulates real-world thermal sensor degradations including stripe noise, salt-and-pepper noise, blur, compound noise, JPEG compression artifacts, and so on.

原始信息汇总

数据集概述

RIVS（Real-world Infrared–Visible Paired Benchmark）是一个用于真实世界红外图像超分辨率（IRSR）的配对基准数据集，由国防科技大学等机构发布。

核心特性

• 数据组成：包含对齐的低质量（LQ）与高质量（HQ）红外图像对，以及联合配准的高质量可见光参考图像。
• 退化模拟：通过专用的红外高阶退化流程生成LQ红外图像，模拟真实热传感器的退化（条纹噪声、椒盐噪声、模糊、复合噪声、JPEG压缩等）。
• 评估工具包：提供统一评估工具，包含9个指标：5个一致性指标（PSNR、SSIM、LPIPS、DISTS、FID）和4个感知指标（CLIPIQA、NIQE、MUSIQ、MANIQA）。

子集划分

子集	任务	LQ / HQ 分辨率	训练集	测试集
RIVS_M3FD	×2超分	320×240 / 640×480	4000	200
RIVS_LLVIP	×4超分	160×128 / 640×512	11715	300

退化流程

LQ红外图像通过两阶段高阶退化流程生成：

• 第一阶段（成像退化）：模拟采集过程中的物理退化，包括光学/大气模糊、FPA级下采样、复合传感器噪声（高斯+泊松+条纹+椒盐）、ISP JPEG压缩。
• 第二阶段（高阶复合退化）：施加第二轮级联的模糊、下采样、噪声和JPEG压缩，模拟非理想化的复合退化。
• 最终下采样：将结果重采样至目标LQ分辨率。

数据访问

RIVS数据集（含LQ-HQ红外对和联合配准的可见光参考）可通过项目页面获取。

搜集汇总

数据集介绍

构建方式

在红外图像超分辨率领域，真实场景下的退化建模始终是制约算法泛化能力的核心瓶颈。为此，RIVS数据集通过一条物理启发的双阶段高阶退化流水线，从高质量红外图像出发，依次模拟成像阶段的光学模糊、焦平面阵列降采样、复合传感器噪声（融合高斯、泊松、条纹及椒盐噪声）以及ISP阶段的JPEG压缩，随后引入第二阶段的级联退化以逼近真实传感器中非理想化的复合失真，最终经空间下采样生成低质量红外图像。该流水线有效复现了模糊、热噪声与颗粒感等真实热传感器特征，同时保持低质量红外图像与高质量红外图像、共配准高质量可见光参考图像的三元组对齐结构。

特点

RIVS数据集包含两个子集RIVS_M3FD（2倍超分辨率）与RIVS_LLVIP（4倍超分辨率），分别提供4000组和11715组训练样本，每个样本由低质量红外图像、高质量红外图像及共配准的高质量可见光参考图像组成。其核心优势在于采用物理驱动的退化流水线替代传统双三次下采样，生成更贴近真实热传感器退化模式的低质量图像，为红外超分辨率研究提供逼真的退化模拟。配套的统一评估工具集集成9种指标，包括PSNR、SSIM、LPIPS、DISTS、FID等5种保真度指标与CLIPIQA、NIQE、MUSIQ、MANIQA等4种感知指标，支持全面评估模型性能。

使用方法

用户可通过指定仓库链接获取RIVS数据集的低质量与高质量红外图像对及共配准可见光参考图像。数据集部署简便，运行bash reproduce.sh脚本即可复现论文基准实验，使用python eval_metrics.py执行统一指标评估。建议将数据划分为训练集和测试集后，加载至红外超分辨率模型框架，利用退化流水线生成的低质量图像进行训练，并通过集成评估工具集对重建结果进行保真度与感知质量的综合评测，从而在真实退化场景下验证模型有效性。

背景与挑战

背景概述

红外图像超分辨率技术旨在从低分辨率红外观测中恢复高分辨率热辐射细节，在军事侦察、安防监控及自动驾驶等关键领域具有广泛应用前景。然而，真实世界的红外传感器受限于物理成像机制与复杂环境干扰，其退化过程远非理想的高斯噪声或双三次下采样所能模拟。为精准刻画这一退化特征，国防科技大学Kexin Huang等研究团队于近期构建了RIVS（Real-world Infrared–Visible Paired dataset）基准数据集。该数据集通过设计物理启发的两阶段高阶退化管线，系统性地模拟了红外成像中固有的条纹噪声、椒盐噪声、模糊、复合噪声及JPEG压缩等真实传感器退化，并创新性地提供了与低质量红外图像严格对齐的高质量红外-可见光配对参考，为红外超分辨率研究提供了首个真实世界退化场景下的标准化评估平台。

当前挑战

RIVS数据集所应对的核心领域挑战在于：真实红外图像超分辨率任务长期缺乏能反映传感器物理退化特性的配对数据集，传统基于理想退化假设的方法在实际场景中性能严重退化。为此，构建过程中面临多重技术难题——如何精确复现红外相机在采集、传输及编码阶段的多源复合退化，需设计级联的高阶退化模块以模拟光学模糊、像元级下采样、混合噪声模型及非均匀性校正残留效应；如何实现跨模态的红外-可见光图像严格对齐，避免因视差或运动伪影引入额外偏差；以及如何保证退化管线生成的低质量图像与真实热成像仪（如FLIR/KAIST）的视觉特性一致，包括特有的模糊程度、热噪声纹理与颗粒感。此外，数据集还需兼顾不同放大倍率（×2与×4）下的退化保真度，并提供包含5项保真度与4项感知质量的统一评估工具包，以全面衡量超分辨率方法的实用性能。

常用场景

经典使用场景

在红外图像超分辨率这一前沿领域中，RIVS数据集凭借其独特的红外-可见光配对设计，为模型训练与性能评估提供了极具价值的基准平台。该数据集最经典的使用场景在于，利用其精心构建的低质量与高质量红外图像对，结合同步配准的高质量可见光参考图像，推动超分辨率模型在真实退化场景下的学习与泛化能力。研究者可借助RIVS_M3FD和RIVS_LLVIP子集，分别在2倍与4倍超分辨率任务上验证模型对多尺度细节的恢复效果，其内含的物理启发的两阶段退化流程模拟了真实热传感器中的条纹噪声、椒盐噪声、模糊和JPEG压缩等复杂退化，使得该数据集成为衡量从基础卷积网络到最新扩散模型等各类超分辨率算法鲁棒性的理想基准。

解决学术问题

RIVS数据集的问世，深刻回应了红外图像超分辨率领域长期面临的数据匮乏与退化模型失真的学术困境。传统方法多依赖于人工合成下采样（如双三次插值）生成低质量红外图像，其退化模式与真实热成像传感器捕获的非理想性劣化存在显著偏差，导致模型在实际应用中泛化能力严重受限。RIVS通过精准模拟成像过程中的物理退化（包括光学/大气模糊、焦平面阵列下采样、复合传感器噪声及图像信号处理器压缩），构建了高度逼真的红外低质量图像，从而破解了真实场景下超分辨率训练数据不足的难题。这一创新不仅提升了模型对红外夜视场景细节的恢复精度与视觉保真度，更推动了学术研究从理想化假设向真实退化建模的范式转变，其提供的统一评估工具集（涵盖5个一致性指标与4个感知质量指标）为后续研究建立了标准化评估体系。

衍生相关工作

RIVS数据集的发布催生了一系列具有影响力的衍生研究工作，特别是在场景先验引导与高效扩散网络相结合的方向上。原论文提出的场景先验引导的单步扩散网络，充分利用RIVS中红外-可见光配对的优势，通过隐式建模可见光纹理分布来指导红外图像的细节重建，突破了传统迭代扩散方法推理速度慢的瓶颈。受此启发，后续学者进一步探索了基于RIVS的多尺度特征融合框架与自适应退化感知网络，这些工作针对数据集中不同退化程度（如2倍与4倍超分辨率）设计了专门的去噪与上采样策略。此外，RIVS的统一评估平台（包含CLIPIQA、NIQE等感知指标）被广泛采纳，促使研究社区针对红外图像特有的噪声模式（如条纹噪声与复合噪声）开发了更加鲁棒的评价指标，推动了红外图像超分辨率领域从单一失真度量向感知质量优化的转型。