Visible-Thermal Image Enhancement Evaluation (V-TIEE)

V-TIEE数据集由印度理工学院马德拉斯分校和卡内基梅隆大学的研究团队创建，旨在支持夜间图像增强的研究。该数据集包含50对共位可见光和热图像，这些图像在多样化的夜间条件下捕获。V-TIEE数据集支持HDR研究、低光照应用，并有助于模型在实际噪声环境下的泛化。数据集的图像是在不同的增益和曝光设置下记录的，包括室内和室外场景，共记录了100张图像，每张图像都有对应的可见光和热图像。The V-TIEE dataset was created by research teams from the Indian Institute of Technology Madras and Carnegie Mellon University, aiming to support research on nighttime image enhancement. This dataset contains 50 pairs of co-registered visible and thermal images captured under diverse nighttime conditions. The V-TIEE dataset supports high dynamic range (HDR) research, low-light applications, and facilitates the generalization of models in real-world noisy environments. The images in the dataset were recorded under different gain and exposure settings, covering both indoor and outdoor scenarios. A total of 100 images were collected, with each visible image paired with a corresponding thermal image.

原始信息汇总

rt-xnet 数据集概述

数据集状态

• 数据集当前处于待更新状态

更新计划

• 代码和V-TIEE数据集将在接下来的一周内更新

搜集汇总

数据集介绍

构建方式

Visible-Thermal Image Enhancement Evaluation (V-TIEE) 数据集的构建采用了严格的科学流程，通过金二向色镜同步采集可见光（1440×1080像素，34°视场角）与热成像（640×512像素，24°水平视场角）双模态数据，并利用单应性矩阵进行空间对齐校准。该数据集包含50组室内外场景，每组涵盖两种增益模式（0-44.99dB）与五档曝光时间（1/20000秒至10秒）的组合，部分场景扩展至十档曝光，完整复现了夜间复杂光照条件下的真实噪声分布与动态范围特征。

特点

V-TIEE 数据集的核心价值在于其多参数耦合的夜间成像特性，不仅提供严格时空配准的可见光-热成像对，更通过系统化的增益-曝光矩阵构建了可量化分析的光照-噪声关联模型。数据覆盖极端低照度（10^-5 lux）至月光条件（0.1 lux）的连续过渡，热成像通道有效保留了可见光缺失的纹理结构与运动目标信息，双模态数据的互补性为跨注意力机制研究提供了理想基准。相较于现有LLVIP数据集，V-TIEE在动态范围与场景多样性方面具有显著优势。

使用方法

该数据集支持端到端的低照度增强算法开发与跨模态融合研究，典型流程包括：1）以短曝光图像作为输入，对应长曝光图像作为真值，构建监督学习任务；2）通过LPIPS与SSIM指标评估模型在感知质量与结构保持方面的性能；3）利用热成像通道进行跨模态特征引导，验证RT-X Net等融合架构的泛化能力。研究证实，未经微调的模型在V-TIEE上仍能保持优异性能，证明其对于真实夜间场景的强表征能力。

背景与挑战

背景概述

Visible-Thermal Image Enhancement Evaluation (V-TIEE) 数据集由印度理工学院马德拉斯分校和卡内基梅隆大学的研究团队于2025年提出，旨在推动低光照环境下可见光与热成像融合的增强技术研究。该数据集包含50组严格时空对齐的可见光-热成像配对样本，覆盖多样化的室内外夜间场景，通过金二向色镜实现多光谱同步采集，并采用增益（0-44.99dB）与曝光时间（1/20000-10秒）的矩阵组合构建。作为首个专注于极端低照度条件下跨模态增强评估的基准，V-TIEE填补了传统单模态数据集的局限性，为自动驾驶、安防监控等领域的鲁棒视觉系统研发提供了关键实验平台。

当前挑战

在解决夜间图像增强这一核心问题时，V-TIEE面临三重挑战：跨模态特征对齐的精确性要求可见光与热成像数据在空间分辨率和视场角差异下的几何配准；动态光照适应需克服极端曝光变化导致的模态间信息不平衡；噪声抑制需同时处理可见光通道的量子噪声与热成像的固定模式噪声。数据集构建过程中，多光谱同步采集系统的标定误差控制、黄金标准参考图像的获取难度，以及真实场景下运动模糊与模态间运动伪影的消除，均为关键技术瓶颈。这些挑战推动了对新型跨注意力机制和噪声建模方法的研究需求。

常用场景

经典使用场景

在低光照条件下，V-TIEE数据集被广泛应用于多模态图像增强算法的开发与评估。该数据集通过提供共位的可见光与热红外图像对，为研究者提供了丰富的夜间场景数据，涵盖了室内外不同光照条件下的复杂环境。其独特的双模态特性使得算法能够充分利用热成像在低光照下的稳定表现，结合可见光图像的色彩信息，实现更优的图像增强效果。

解决学术问题

V-TIEE数据集有效解决了低光照图像增强领域的关键挑战，包括极端光照条件下的细节恢复、噪声抑制以及跨模态特征融合问题。通过提供真实世界的多曝光配对数据，该数据集为基于Retinex理论的分解算法、跨注意力机制等前沿研究提供了验证平台，显著推进了夜间场景理解的技术边界。其引入的热成像模态突破了传统可见光增强方法的性能瓶颈，为计算机视觉在恶劣光照环境下的应用奠定了数据基础。

衍生相关工作

V-TIEE数据集催生了多个标志性研究成果，包括提出跨注意力机制的RT-X Net框架，以及后续基于该数据集的级联增强网络研究。相关衍生工作已拓展至多模态语义分割（如CMX网络）、动态光照估计等领域。数据集建立的评估基准也促进了LLFormer、GSAD等先进算法的性能优化，形成从低层增强到高层理解的完整技术链条。