CART: Caltech Aerial RGB-Thermal Dataset in the Wild

CART数据集是由加州理工学院创建的，旨在为自然环境中的航空机器人提供首个公开可用的RGB-热像数据集。该数据集捕捉了美国大陆各种地形，包括河流、湖泊、海岸线、沙漠和森林，并包含同步的RGB、长波热像、全球定位和惯性数据。此外，为了促进对不利天气和夜间条件下的感知算法的开发，数据集提供了10个常见自然设置类别的语义分割标注。CART数据集不仅支持热像和RGB-热像语义分割的新挑战基准，还涵盖了RGB到热像图像转换和视觉惯性里程计。数据集的应用领域广泛，旨在解决复杂环境下的机器人感知和导航问题。

The CART dataset was developed by the California Institute of Technology (Caltech), aiming to provide the first publicly available RGB-thermal imaging dataset for aerial robots operating in natural environments. This dataset captures diverse terrains across the continental United States, including rivers, lakes, shorelines, deserts and forests, and contains synchronized RGB imagery, long-wave thermal imagery, global positioning data and inertial measurement data. Furthermore, to facilitate the development of perception algorithms under adverse weather and nighttime conditions, the dataset provides semantic segmentation annotations for 10 common natural scene categories. The CART dataset not only supports novel benchmark challenges for thermal and RGB-thermal semantic segmentation, but also covers RGB-to-thermal image translation and visual-inertial odometry. With wide-ranging application scenarios, the dataset is designed to address robotic perception and navigation challenges in complex environments.

搜集汇总

数据集介绍

构建方式

在野外机器人感知领域，CART数据集通过定制化传感器栈实现了多模态数据的同步采集。该数据集利用搭载于无人机的FLIR热像仪与光学相机，结合惯性测量单元与全球定位系统，在美国境内的河流、湖泊、海岸线及沙漠等多种自然地形中进行了系统性数据捕获。采集过程中，传感器通过硬件同步机制确保了RGB图像、长波热红外图像、姿态与位置数据的时间对齐，并采用立体校正技术实现了RGB与热红外图像的空间配准。此外，研究团队对热图像进行了基于百分位的归一化与自适应直方图均衡处理，以提升数据质量。最终，通过外包标注与三轮人工审核，为4195帧热图像提供了涵盖10类自然场景语义的精细分割标注。

特点

CART数据集的核心特点在于其专注于自然环境的多样性表征与多模态协同。数据集囊括了从空中与地面视角采集的RGB-热红外图像对，覆盖了昼夜不同时段及多种地理气候条件，从而引入了显著的时间与空间域偏移挑战。其语义标注体系针对野外场景设计了包括树木、水体、裸地、岩石地形等10个类别，充分反映了自然环境的语义复杂性。此外，数据集提供了严格的时空划分方案，如按地形类型、地理区域及采集时间划分的子集，便于研究算法在未知环境中的泛化能力与域适应性能。这些特性使CART成为推动热红外感知算法在野外机器人领域发展的关键基准。

使用方法

CART数据集支持多种计算机视觉与机器人学习任务的评估与开发。研究者可利用其提供的RGB-热红外图像对及语义标注，开展热红外语义分割、RGB-热红外语义分割以及跨模态图像翻译等任务的基准测试。数据集的时空划分方案允许进行域适应与泛化性能研究，特别是在处理地理分布差异与昼夜热辐射变化等挑战时。对于运动跟踪任务，同步的惯性数据与图像序列可用于视觉-惯性里程计与同步定位与建图算法的验证。使用前，建议依据任务需求选择相应的数据子集，并参考论文中的预处理流程，如热图像归一化与图像对齐，以确保输入数据的一致性与可比性。

背景与挑战

背景概述

在野外机器人学领域，感知系统在低光照与恶劣天气条件下的鲁棒性一直是核心挑战。传统视觉传感器在此类场景中性能显著下降，而热成像相机通过捕捉长波红外辐射，能够提供稳定的视觉信息。为填补自然环境中公开热成像数据集的空白，加州理工学院的研究团队于2024年发布了CART数据集。该数据集聚焦于野外场景，涵盖河流、湖泊、海岸线、沙漠与森林等多种地形，提供了同步的RGB图像、热成像、全球定位与惯性数据，并标注了10类常见语义分割标签。CART的创建旨在推动热感知算法在夜间与恶劣天气下的发展，为野外机器人自主操作提供关键数据支持。

当前挑战

CART数据集致力于解决野外环境下的热语义分割、RGB-热图像转换与视觉惯性里程计等核心问题。其面临的挑战主要体现在两方面：在领域问题层面，算法需克服地理与时间域偏移带来的分布差异，例如不同地形间类内语义变化及昼夜热反转现象，这导致模型在未见场景中泛化能力下降；在构建过程层面，数据采集面临显著困难，热成像设备成本高昂且难以众包，需实地前往多样化的野外环境，并应对无人机操作许可的行政复杂性，这些因素共同增加了数据集的构建成本与时间开销。

常用场景

经典使用场景

在野外机器人学领域，CART数据集为热成像与RGB-T多模态感知算法提供了关键基准。该数据集通过无人机采集了涵盖河流、湖泊、海岸线、沙漠和森林等多种自然环境的同步RGB与长波热成像数据，并辅以全球定位与惯性测量信息。其经典应用场景集中于热成像语义分割、RGB-T图像翻译以及视觉惯性里程计等任务，为开发在恶劣天气与夜间条件下鲁棒的感知算法奠定了数据基础。

实际应用

该数据集的实际应用场景广泛涉及野外自主系统的部署与优化。在海岸线测绘、森林火灾监测、夜间搜救以及农业环境巡查等任务中，基于CART数据训练的算法能够显著提升无人机在低光照与恶劣气象条件下的感知可靠性。此外，数据集提供的RGB-T对齐数据对可用于开发多传感器融合系统，增强自动驾驶车辆与移动机器人在自然地形中的导航与避障能力。

衍生相关工作

CART数据集催生了一系列围绕热成像感知的经典研究工作。在语义分割领域，基于该数据集的基准测试推动了如EfficientViT、CMNeXt等多模态融合架构的优化；在图像翻译方向，研究团队利用其对齐的RGB-T数据对评估了Pix2Pix、VQGAN等生成模型的跨模态转换性能；同时，数据集也为VINS-Fusion、Open-VINS等视觉惯性里程计算法在特征稀疏自然环境中的鲁棒性改进提供了验证平台。这些衍生工作共同拓展了热成像在计算机视觉与机器人学中的应用边界。