Thermal-UAV

我们构建了Thermal-UAV数据集，包含11,890张使用DJI Matrice 4T无人机在长沙周围拍摄的热成像无人机图像。这些图像具有天底视图、多时相和多场景数据以及连续飞行序列。我们将数据集分为三部分：8,115张用于训练，1,425张用于验证，2,350张用于测试。此外，我们还收集了相应的Google Maps卫星图像（0.26米/像素）和数字表面模型（DSM，5.29米/像素）。We constructed the Thermal-UAV dataset, which contains 11,890 thermal imaging UAV images captured around Changsha using a DJI Matrice 4T drone. These images feature nadir views, multi-temporal and multi-scene data, as well as continuous flight sequences. We split the dataset into three subsets: 8,115 images for training, 1,425 for validation, and 2,350 for testing. Additionally, we collected corresponding Google Maps satellite imagery (0.26 meters per pixel) and Digital Surface Model (DSM, 5.29 meters per pixel).

原始信息汇总

SCC-Loc数据集概述

数据集基本信息

• 数据集名称：Thermal-UAV
• 构建目的：用于无人机在GNSS拒止环境下的零样本、跨模态热成像地理定位研究。
• 数据总量：11,890张热成像无人机图像。
• 采集设备：DJI Matrice 4T无人机。
• 采集地点：中国长沙周边区域。

数据内容与结构

• 图像类型：热成像无人机图像，具备正射视角、多时相、多场景数据以及连续飞行序列。
• 配套数据：
  • 对应的Google Maps卫星图像，分辨率为0.26米/像素。
  • 数字表面模型（DSM），分辨率为5.29米/像素。
• 数据划分：
  • 训练集：8,115张图像。
  • 验证集：1,425张图像。
  • 测试集：2,350张图像。

数据组织方式

数据集目录结构如下：

Data/ ├── metadata/ │ ├── train_Thermal.json │ ├── valid_Thermal.json │ └── test_Thermal.json ├── Reference_map/ │ └── changsha/ │ ├── ref.tif │ └── dsm.tif └── Thermal-UAV/ ├── train/ │ └── changsha/ │ └── <NUDT>/ │ └── Thermal/ │ ├── xxx1.JPG │ ├── xxx2.JPG │ └── Thermal_info.csv │ └── ... ├── valid/ └── test/

元数据信息

元数据文件为JSON格式，每个图像条目包含以下关键字段：

• name：图像文件路径。
• lat：纬度。
• lon：经度。
• abs_height：绝对高度。
• rel_height：相对于起飞点的相对高度。
• pitch：俯仰角。
• yaw：偏航角。
• roll：滚转角。
• cam_size：传感器对角线物理尺寸。
• focal_len：焦距（毫米）。
• width：图像宽度。
• height：图像高度。

地理信息配置

使用数据集需在Regions_params/中配置长沙地区的地理参数，包括：

• UTM坐标系。
• 采样间隔。
• 参考地图（卫星图像）和DSM的文件路径。
• 参考地图的初始UTM坐标（X, Y）。
• 参考地图和DSM的分辨率（经QGIS上采样对齐至0.3米/像素）。
• 参考地图和DSM的坐标偏移量（若已对齐则为0）。

数据获取与处理

• 下载地址：
  • 百度网盘：https://pan.baidu.com/s/1zXn3f9QrO07IcKHr8kmNnQ?pwd=53ea
  • Hugging Face：https://huggingface.co/datasets/FloralHercules/Thermal-UAV/tree/main
• 处理工具：提供process.ipynb脚本，用于生成Thermal-UAV数据集的JSON格式元数据。

相关模型检查点

数据集与SCC-Loc框架配合使用，框架涉及以下预训练模型检查点：

• 检索模型：CAMP、DINOv3、DINOv2。
• 匹配模型：RoMa、MINIMA、RoMaV2。 具体模型文件存放于Retrieval_Models/与Matching_Models/目录下。

许可信息

• 许可证：Apache License 2.0。

搜集汇总

数据集介绍

构建方式

在无人机地理定位领域，Thermal-UAV数据集的构建体现了严谨的数据采集与处理流程。该数据集通过DJI Matrice 4T无人机在长沙地区采集了11,890幅热成像图像，这些图像均采用垂直俯视视角，并涵盖了多时段与多场景的连续飞行序列。数据采集过程中同步获取了对应的谷歌地图卫星影像与数字表面模型，其中卫星影像分辨率为0.26米/像素，数字表面模型分辨率为5.29米/像素。所有图像均经过精确的地理坐标标注，包括经纬度、高度及相机姿态参数，并通过UTM坐标系进行空间对齐，确保了数据在跨模态匹配任务中的几何一致性。

特点

Thermal-UAV数据集在无人机视觉定位研究中展现出鲜明的跨模态特性。其核心在于融合了热成像无人机视角与可见光卫星地图，形成了具有显著模态差异的双源数据对。数据集不仅包含丰富的多时空场景样本，还提供了连续飞行序列，能够模拟无人机在实际任务中的动态观测过程。此外，数据集附带了高精度的数字表面模型与地理元数据，支持三维空间分析与姿态估计，为研究零样本跨模态匹配算法提供了真实且挑战性的基准环境。

使用方法

使用Thermal-UAV数据集时，研究者可通过提供的元数据文件快速载入图像及其对应地理信息。数据集已划分为训练、验证与测试子集，并配有标准化的JSON格式元数据，便于直接集成至深度学习管道。用户需根据区域配置文件设置地理坐标系参数，以确保卫星影像与数字表面模型的空间对齐。通过附带的处理脚本，可进一步生成定制化数据或复现实验流程。该数据集兼容主流跨模态检索与匹配模型，支持端到端的地理定位框架验证与算法比较。

背景与挑战

背景概述

随着无人机技术在复杂环境监测、夜间作业及全球导航卫星系统拒止场景中的应用日益广泛，视觉地理定位成为保障自主导航精度的关键研究方向。Thermal-UAV数据集由研究团队于2026年构建，旨在解决无人机在无卫星信号环境下，通过热成像与可见光卫星地图进行跨模态匹配以实现精确定位的核心问题。该数据集以长沙地区为采集范围，利用大疆Matrice 4T无人机获取了11,890幅热成像图像，并辅以高分辨率卫星影像与数字表面模型，为热视觉地理定位算法提供了多时相、多场景的基准数据，显著推动了无人机自主导航与跨模态感知领域的发展。

当前挑战

Thermal-UAV数据集所针对的热视觉地理定位任务，面临跨模态匹配的固有挑战：热成像与可见光卫星图像之间存在显著的模态差异，包括纹理缺失、光谱响应不同及结构信息不对齐，导致特征提取与匹配精度受限。在数据集构建过程中，研究人员需克服无人机飞行管制严格、多时相数据采集同步困难，以及热成像与卫星地图的空间分辨率对齐等技术障碍。此外，为确保地理坐标的精确映射，需对传感器参数、飞行姿态与地面控制点进行精细化校准，这些因素共同构成了数据集构建与应用中的核心难点。

常用场景

经典使用场景

在无人机视觉地理定位领域，Thermal-UAV数据集为跨模态匹配研究提供了关键支撑。该数据集最经典的使用场景在于，支持无人机在GNSS拒止环境下，通过机载热成像与可见光卫星地图的零样本匹配，实现高精度的绝对姿态估计。其多时序、多场景的连续飞行序列，以及包含天底视角的热图像与高分辨率数字表面模型，为探索热成像与卫星影像间的语义对齐和空间一致性提供了标准化实验平台。

实际应用

在实际应用层面，Thermal-UAV数据集为无人机自主导航与监控任务提供了重要参考。它可应用于夜间搜救、灾害响应、边境巡逻等GNSS信号受限或可见光条件不佳的场景，通过热成像与预先获取的卫星地图进行实时定位，增强无人机在恶劣环境下的作业能力。该数据集支持开发无需重新训练即可适应新环境的定位系统，对提升无人机在军事、安防和公共安全领域的实用价值具有显著意义。

衍生相关工作

围绕Thermal-UAV数据集，已衍生出一系列经典的跨模态定位研究工作。例如，SCC-Loc框架利用该数据集实现了语义引导的视口对齐与共识驱动的位置选择；同时，基于CAMP、DINOv2、RoMa和MINIMA等开源模型，研究者们构建了多种检索与匹配基准，推动了无人机热成像地理定位技术的比较与优化。这些工作共同促进了跨模态视觉定位社区的算法进步与标准化评估。