DJI-day, Bosonplus-day, Bosonplus-night

本文介绍了ThermalGen，一个自适应的基于流的生成模型，用于RGB到热成像的图像转换。为了支持大规模训练，我们整理了八个公开的卫星-航空、航空和地面RGB-T配对数据集，并引入了三个新的卫星-航空RGB-T数据集，包括DJI-day、Bosonplus-day和Bosonplus-night。这些数据集在不同时间、传感器类型和地理区域捕获，包含了丰富的RGB和热成像数据。ThermalGen通过利用RGB图像和特定于数据集的风格嵌入，实现了在不同视角、传感器特性和环境条件下生成高质量的热成像。这些数据集的发布为视觉-热传感器融合和跨模态任务提供了重要的数据支持，有助于推动相关领域的研究和应用。

This paper introduces ThermalGen, an adaptive flow-based generative model for RGB-to-thermal image translation. To support large-scale training, we curated eight publicly available paired RGB-T datasets from satellite-borne aerial, aerial and ground-based scenarios, and introduced three new satellite-borne aerial RGB-T datasets, namely DJI-day, Bosonplus-day, and Bosonplus-night. These datasets are captured across different time periods, sensor types and geographic regions, containing abundant RGB and thermal imaging data. ThermalGen generates high-quality thermal images across diverse viewpoints, sensor characteristics and environmental conditions by leveraging RGB images and dataset-specific style embeddings. The release of these datasets provides critical data support for visual-thermal sensor fusion and cross-modal tasks, which facilitates the advancement of research and applications in related fields.

搜集汇总

数据集介绍

构建方式

在遥感与热成像融合领域，DJI-day、Bosonplus-day和Bosonplus-night数据集的构建采用了系统化的采集流程。通过部署配备热成像传感器的无人机，在选定区域捕获带有地理坐标的热图像斑块，并生成统一的热成像正射影像。随后，从空间分辨率为1米/像素的卫星RGB图像中裁剪并对齐对应区域，排除无效热数据区域，最终通过网格采样提取512×512像素的图像对，确保卫星RGB与航空热图像在空间上的精确配准。

使用方法

在RGB-热图像翻译任务中，该数据集可作为大规模训练与评估的基础资源。研究人员可通过加载对齐的图像对，输入RGB图像至条件生成模型（如ThermalGen），结合数据集特定的风格嵌入向量，合成对应风格的热图像。合成结果可用于多模态对齐、特征匹配及跨模态检索等下游任务。数据集的标准化格式支持直接集成至流式加载管道，便于在不同硬件平台进行分布式训练与跨域性能验证。

背景与挑战

背景概述

DJI-day、Bosonplus-day与Bosonplus-night数据集于2024年由纽约大学与技术创新研究院联合发布，旨在解决遥感领域中同步校准RGB-热成像数据稀缺的核心问题。这些数据集通过整合卫星RGB与航空热成像图像，覆盖昼夜交替、多元传感器类型及广泛地理区域，为视觉-热成像融合与跨模态任务提供了大规模基准支持，显著推动了无人机环境感知与多模态对齐研究的发展。

当前挑战

在领域问题层面，RGB-热成像转换需克服模态间语义鸿沟，即从缺乏热力学信息的RGB图像中精确推断热分布特征；构建过程中，面临传感器差异、视角变化与环境条件多样性导致的域偏移挑战，同时低对比度热成像数据与有限场景多样性进一步增加了模型泛化与数据对齐的难度。

常用场景

经典使用场景

在视觉-热成像传感器融合研究领域，DJI-day、Bosonplus-day和Bosonplus-night数据集为RGB-热成像图像转换任务提供了关键支撑。这些数据集通过精确配对的卫星RGB与航空热成像图像，构建了跨模态视觉分析的基准测试平台，特别适用于多视角、多传感器条件下的热成像生成模型训练与验证。其经典应用体现在为ThermalGen等先进模型提供大规模训练数据，推动RGB-to-Thermal图像转换技术在不同环境条件下的性能突破。

解决学术问题

该数据集有效解决了视觉-热成像跨模态研究中的核心难题。针对同步校准RGB-热成像数据稀缺的瓶颈，通过提供涵盖昼夜变化、传感器差异和地理区域多样性的配对样本，显著缓解了领域泛化问题。在学术层面，该数据集支撑了模态鸿沟 bridging、跨模态特征对齐等关键问题的研究，为多模态图像配准、检索等下游任务提供了数据基础，推动了热成像感知技术在低光照、恶劣天气等挑战性环境下的理论突破。

实际应用

在实际应用层面，这些数据集支撑的技术已延伸至多个重要领域。在无人机自主导航系统中，基于该数据集训练的热成像生成模型显著提升了夜间环境感知能力；在智慧城市管理领域，支持开发全天候监控系统，有效应对光照变化带来的检测盲区；在应急救援场景中，为热成像目标检测提供数据支撑，增强复杂环境下的生命体征识别精度。这些应用充分体现了数据集在提升现实世界视觉系统鲁棒性方面的实用价值。

数据集最近研究

最新研究方向

在视觉-热成像融合领域，RGB-热成像图像转换技术正成为解决配对数据稀缺问题的关键研究方向。ThermalGen模型通过引入基于流的生成架构与风格解耦机制，实现了跨传感器类型、视角和环境条件的高保真热图像合成，显著提升了多模态对齐和检索任务的性能。前沿研究聚焦于利用大规模卫星-航空RGB-T配对数据集（如DJI-day、Bosonplus-day和Bosonplus-night）进行联合训练，推动模型在低光照、极端天气等复杂场景下的鲁棒性。这一进展不仅缓解了硬件采集数据的成本限制，还为自动驾驶、环境监测等热点应用提供了可扩展的数据增强方案，对跨模态感知系统的实际部署具有深远意义。

相关研究论文

• 通过

  纽约大学 · 2025年