CART: Caltech Aerial RGB-Thermal Dataset in the Wild

Welcome to the Caltech Aerial RGB-Thermal dataset repository! This repository hosts the first publicly available dataset tailored for aerial robotics operating in diverse natural landscapes across the continental United States. Our dataset comprises synchronized RGB, thermal, GPS, and IMU data, providing a comprehensive resource for researchers and practitioners in the field. For further details, please see our paper.

欢迎访问加州理工学院航拍RGB-热成像（RGB-Thermal）数据集仓库！本仓库收录了首个专为美国本土各地多样自然地貌场景下作业的空中机器人打造的公开可用数据集。本数据集包含同步采集的RGB图像、热成像数据、GPS（Global Positioning System）数据与IMU（Inertial Measurement Unit）数据，可为该领域的研究人员与从业者提供全面的研究资源。如需了解更多细节，请参阅我们的相关论文。

原始信息汇总

CART: Caltech Aerial RGB-Thermal Dataset in the Wild

数据集概述

• 数据类型: 同步的RGB、热像、GPS和IMU数据。
• 应用领域: 适用于在多种自然景观中操作的空中机器人研究。
• 地理范围: 覆盖美国大陆的多样化地形。

关键特性

• 多样化地形: 包括河流、湖泊、海岸线、沙漠和森林等。
• 语义分割标注: 提供10个常见自然场景类的标注。
• 基准测试: 引入热像和RGB-T语义分割、RGB-T图像转换及视觉惯性里程计的新基准。
• 挑战性领域转移: 根据时间和地理提供数据分割，支持地理领域适应研究。

数据集下载

• 下载链接: https://data.caltech.edu/records/cks6g-ps927。
• 数据组织:
  • 原始数据位于onr-processed。
  • 标注的热像数据位于labeled_thermal_singles。
  • 标注的RGB-T配对数据位于labeled_rgbt_pairs。

语义分割与图像转换

• 语义分割类: 包括未知、背景、裸地、巨石/岩石地形、人造结构、道路、灌木、树木、天空、水和车辆等11类。
• 数据分割: 热像数据分割位于caltech_aerial_thermal_dataset/splits/thermal_splits，RGB-T配对图像分割位于caltech_aerial_thermal_dataset/splits/rgbt_splits。

数据处理

• 数据提取: 提供ROS1 rosbags和Ardupilot日志的提取脚本。
• 图像校正: 提供图像校正工具和脚本。

许可

• 使用限制: 仅限非商业用途。
• 许可类型: 遵循Creative Commons Attribution ShareAlike 4.0许可。

搜集汇总

数据集介绍

构建方式

CART数据集通过无人机在美国大陆的多样化自然景观中进行数据采集，构建了一个包含同步RGB、热成像、GPS和IMU数据的综合资源。数据采集过程中，无人机在河流、湖泊、海岸线、沙漠和森林等多种地形中飞行，确保了数据的多样性和环境适应性。数据集的组织结构清晰，原始数据存储在`onr-processed`目录下，标注的热成像数据则按照捕获地点和轨迹ID进行分类存储。

特点

CART数据集的特点在于其涵盖了广泛的自然地形，提供了10种常见自然场景的语义分割标注，支持热成像和RGB-T语义分割、RGB-T图像转换以及视觉惯性里程计等任务的基准测试。数据集还特别设计了基于时间和地理的数据划分，便于研究地理域适应和热反转现象的处理。这些特点使得CART数据集成为研究复杂环境感知算法的理想选择。

使用方法

CART数据集的使用方法包括从ROS1 rosbags中提取数据，或通过提供的脚本将Ardupilot日志转换为csv和图像文件。数据集中的图像已经过校正，用户可以使用提供的`MonoRectifier`类进行进一步校正。数据集的分割文件位于`caltech_aerial_thermal_dataset/splits`目录下，用户可以根据需要选择随机、地理或时间划分的数据集进行实验。

背景与挑战

背景概述

CART: Caltech Aerial RGB-Thermal Dataset in the Wild 是由加州理工学院（Caltech）于2024年发布的首个公开可用的空中机器人数据集，专为研究自然环境中多模态感知技术而设计。该数据集涵盖了美国大陆内多样化的地形，包括河流、湖泊、海岸线、沙漠和森林，提供了同步的RGB、热成像、GPS和IMU数据。其核心研究问题在于提升空中机器人在复杂环境下的感知能力，特别是在恶劣天气和夜间条件下的鲁棒性。CART数据集为热成像与RGB-T语义分割、图像翻译以及视觉惯性里程计等任务提供了新的基准，推动了地理域适应和时间域适应研究的发展，对空中机器人领域的研究具有重要的推动作用。

当前挑战

CART数据集在解决空中机器人感知问题时面临多重挑战。首先，热成像与RGB图像的同步与融合技术尚不成熟，尤其是在复杂环境下的数据对齐与校准存在显著困难。其次，数据集中的地理和时间域变化为模型训练带来了挑战，特别是在处理热反转现象时，模型的泛化能力亟待提升。此外，数据采集过程中传感器故障导致部分数据缺失，影响了数据集的完整性和一致性。构建过程中，研究人员还需克服多模态数据的高效存储与处理问题，确保数据的可用性和可扩展性。这些挑战为未来的研究提供了重要的方向，同时也推动了相关技术的进一步发展。

常用场景

经典使用场景

CART数据集在无人机遥感领域具有广泛的应用，尤其是在复杂自然环境中进行多模态数据融合的研究中。该数据集通过提供同步的RGB、热成像、GPS和IMU数据，为开发能够在多变天气和夜间条件下稳定运行的感知算法提供了坚实的基础。其多样化的地形覆盖和语义分割标注，使得研究者能够在不同地理和气候条件下测试和优化算法。

衍生相关工作

CART数据集催生了一系列关于多模态数据融合和无人机感知算法的研究。基于该数据集，研究者提出了多种先进的语义分割模型和图像翻译算法，进一步推动了无人机在复杂环境中的应用。此外，该数据集还为视觉惯性里程计和地理域适应等领域的研究提供了新的基准，促进了相关技术的快速发展。

数据集最近研究

最新研究方向

在无人机与机器人视觉领域，CART数据集为研究者提供了一个独特的视角，尤其是在多模态感知与地理适应性研究方面。该数据集结合了RGB与热成像数据，并辅以GPS和IMU信息，为复杂自然环境下的感知算法开发提供了丰富的数据支持。当前研究热点集中在如何利用该数据集进行跨地域和跨时间的域适应研究，特别是在处理热反转现象和夜间条件下的语义分割任务。此外，数据集中的地理与时间分割为探索不同环境条件下的算法鲁棒性提供了新的挑战与机遇。这些研究方向不仅推动了无人机在复杂环境中的应用，也为多模态感知技术的发展提供了重要的实验平台。