PST900

该数据集名为PST900，包含了在洞穴和地下环境中拍摄的RGB-热成像图片，用于DARPA地下挑战赛。该数据集包含了五个类别的标注分割标签，包括一个背景类别（未标记）和四个对象类别。数据集规模为894张图片，所涉及的任务是语义分割。

This dataset, named PST900, contains RGB and thermal imaging photographs taken in cave and underground environments, and it is developed for the DARPA Subterranean Challenge. It provides annotated segmentation labels covering five categories, including one background class (unlabeled) and four object classes. The dataset consists of 894 images in total, and the corresponding downstream task is semantic segmentation.

搜集汇总

数据集介绍

构建方式

在机器人感知领域，多模态数据融合已成为提升环境理解能力的关键途径。PST900数据集的构建依托于DARPA地下挑战赛的实际需求，旨在解决低光照与复杂地形下的语义分割难题。该数据集通过搭载立体ZED Mini RGB相机与FLIR Boson 320热成像相机的移动机器人平台，在多种地下与室内外环境中采集了894对同步校准的RGB-热图像对。采用基于热反射率的被动校准方法，利用喷砂铝制棋盘格与黑色亚克力背景实现无需外部热源的高对比度校准，确保了双模态图像的精确对齐。所有图像均经过人工逐像素标注，涵盖灭火器、背包、手钻和幸存者四类目标，并额外提供了3416张仅含RGB的标注图像，形成了兼具规模与多样性的多模态数据集。

特点

PST900数据集在语义分割研究中展现出鲜明的技术特色。其核心优势在于提供了严格校准的RGB与长波红外热图像对，解决了传统多模态数据中常见的对齐偏差问题。数据采集环境模拟了真实地下场景的挑战性条件，如照明不足与视觉退化，使得热模态的互补价值得以凸显。数据集中目标类别的热特征呈现动态变化，同一物体可能呈现高于或低于环境温度的特征，这为研究跨模态关联学习提供了复杂而真实的测试平台。此外，数据集附带了原始16位热数据与FLIR自动增益控制8位格式，支持不同精度需求的研究。类别分布的不平衡性也反映了实际应用中的典型情况，促使算法在少数类识别上寻求突破。

使用方法

该数据集主要服务于基于学习的RGB-热融合语义分割算法开发与评估。研究者可利用其校准图像对训练双流网络架构，例如论文中提出的独立RGB流与热融合流相结合的方法，以探索晚期融合策略的有效性。数据集已划分为训练与测试集，支持使用加权交叉熵损失函数处理类别不平衡问题。在具体应用中，可先基于RGB图像预训练分割网络，再引入热图像进行微调，以提升在低可见度条件下的分割鲁棒性。此外，数据集提供的额外RGB标注图像可用于扩充训练样本，增强模型泛化能力。评估时通常采用平均交并比（mIoU）作为主要指标，并在嵌入式GPU平台上测试推理速度，以满足实时机器人系统的部署需求。

背景与挑战

背景概述

随着机器人自主导航与环境感知需求的日益增长，语义分割技术成为计算机视觉与机器人学交叉领域的研究热点。传统基于RGB图像的语义分割方法在光照受限或能见度低的环境中面临显著挑战，而热成像技术凭借其不依赖可见光照射的特性，为复杂环境下的感知任务提供了新的可能性。在此背景下，宾夕法尼亚大学GRASP实验室的研究团队于2019年推出了PST900数据集，旨在推动RGB与热成像融合的语义分割研究。该数据集包含894对经过校准与同步的RGB-热成像图像对，并提供了像素级的人工标注，覆盖了灭火器、背包、手钻和幸存者四类目标。数据采集依托DARPA地下挑战赛的背景，专注于隧道、矿井等地下极端环境，为多模态感知算法在真实场景中的鲁棒性评估提供了重要基准。

当前挑战

PST900数据集致力于解决地下极端环境下基于多模态图像的语义分割问题，其核心挑战在于如何有效融合RGB与热成像模态以提升分割精度。在领域层面，由于热成像与RGB图像在物理特性上的差异，例如热辐射与可见光反射的不同，导致跨模态特征对齐与信息互补成为技术难点；同时，目标物体可能因环境温度变化而呈现热特征反转，进一步增加了模型学习的复杂性。在数据集构建过程中，研究人员面临RGB-热成像相机校准的困难，传统主动加热标定方法便携性差且在地下环境中难以实施，因此开发了基于热反射的被动校准技术。此外，数据标注需要应对类别不平衡与细小目标识别的问题，确保像素级标注的准确性与一致性也成为构建高质量数据集的关键挑战。

常用场景

经典使用场景

在机器人感知与自主导航领域，PST900数据集为多模态语义分割研究提供了关键支撑。该数据集通过同步校准的RGB与长波红外图像对，结合像素级人工标注，特别适用于地下、矿井等低光照或能见度受限的极端环境。研究人员利用这一数据集，能够深入探索热成像如何弥补可见光信息的不足，从而提升对灭火器、背包、手钻及幸存者等四类目标的识别精度，推动鲁棒环境理解算法的发展。

实际应用

PST900数据集的实际应用紧密围绕灾难响应与地下勘探等高风险场景。在DARPA地下挑战赛等现实任务中，搭载热成像与RGB相机的移动机器人平台可利用该数据集训练的模型，在烟雾弥漫、完全黑暗或结构复杂的隧道中可靠定位关键目标，如幸存者或应急设备。这种融合感知能力显著增强了机器人在搜救、工业检测及军事侦察中的环境适应性与操作安全性，为实现全天候、全地形的自主作业提供了坚实的技术基础。

衍生相关工作

PST900数据集的发布促进了多模态感知领域一系列经典工作的衍生与发展。其双流网络架构启发了后续研究对模态间依赖关系的深入探索，例如在特征层级进行更灵活的信息交互设计。数据集本身常被用作评估RGB-热融合算法性能的基准，与MFNet、RTFNet等现有工作形成对比与补充。此外，其标定方法为便携式多传感器系统标定提供了新思路，相关技术已被扩展应用于无人机、车载平台等更广泛的机器人系统中，推动了跨模态标定与数据融合技术的标准化进程。