WeatherProof Dataset

WeatherProof Dataset是由加州大学洛杉矶分校创建的第一个具有精确配对清晰和恶劣天气图像对的语义分割数据集，包含超过174,000张图像。该数据集通过确保清晰和恶劣天气图像之间的底层语义标签相同，提供了一个受控的测试平台，其中性能退化主要归因于天气因素。该数据集不仅支持新的训练范式，还改进了清晰和退化分割之间的性能评估差距。通过使用这种配对数据集进行训练，可以分离学习新场景和学习对天气影响的恢复力，从而提高模型在恶劣天气场景下的性能。

The WeatherProof Dataset, created by the University of California, Los Angeles (UCLA), is the first semantic segmentation dataset with precisely paired clear and adverse weather image pairs, containing over 174,000 images. By ensuring that the underlying semantic labels are identical across both clear and adverse weather images, this dataset provides a controlled testbed where performance degradation is primarily attributed to weather-related factors. This dataset not only supports novel training paradigms but also enhances the validity of performance comparisons between clear-weather and degraded semantic segmentation tasks. Training with this paired dataset allows researchers to disentangle the learning of novel scenes and the learning of resilience against weather perturbations, thereby improving model performance in adverse weather scenarios.

搜集汇总

数据集介绍

构建方式

WeatherProof数据集的构建源于对现有语义分割模型在恶劣天气条件下性能显著下降的深刻洞察。该数据集精心整合了GT-RAIN与WeatherStream数据集中的图像资源，通过严格筛选确保每一对清晰与恶劣天气图像在底层场景结构上高度一致，从而实现了首个真正意义上的高精度配对语义分割数据集。构建过程中，研究团队对超过17.4万张图像进行了精细标注，涵盖了天空、树木、建筑、道路等十个语义类别，并优先确保对象边界的标注准确性，以最小化背景标签的干扰。

特点

WeatherProof数据集的突出特点在于其首创的精确配对机制，每一组数据均由同一场景下的清晰图像与受雨、雾、雪等天气退化的图像构成，且共享完全相同的语义分割标签。这种设计不仅为模型训练提供了可控的实验环境，使得性能退化可明确归因于天气因素，还极大地促进了配对训练范式的有效性。此外，数据集具有显著的多样性与规模优势，覆盖全球不同地理位置的城市场景与自然景观，并包含多变的相机参数与分辨率，为模型泛化能力的提升奠定了坚实基础。

使用方法

该数据集的核心应用在于支持一种创新的配对训练流程。在训练阶段，模型同时接收清晰图像与对应的恶劣天气图像作为输入，这使得模型能够分别学习适应新场景和理解同一场景下的天气退化模式。为进一步优化训练效果，可结合特征一致性损失与输出一致性损失，迫使模型学习对天气变化不敏感的特征表示；同时，通过CLIP注入层引入自然语言描述的天气条件先验知识，以语言指导的方式约束特征搜索空间，从而显著提升模型在恶劣天气下的分割鲁棒性。在评估方面，该数据集能够精确量化仅由天气因素导致的性能差距，为算法改进提供可靠基准。

背景与挑战

背景概述

在计算机视觉领域，语义分割作为场景理解的关键技术，在自动驾驶、机器人导航等应用中具有重要价值。随着大规模基础模型的兴起，语义分割性能显著提升，然而这些模型在雨、雾、雪等恶劣天气条件下的图像上表现大幅下降。为应对这一挑战，加州大学洛杉矶分校与耶鲁大学的研究团队于2023年联合推出了WeatherProof数据集。该数据集作为首个提供精确配对清晰与恶劣天气图像的语义分割基准，包含超过17.4万张图像，通过共享底层场景结构的图像对，为模型训练与评估提供了可控实验环境。其创新性在于解耦了场景学习与天气退化适应任务，显著提升了基础模型在复杂气象条件下的鲁棒性，为恶劣天气下的视觉感知研究奠定了新的数据基础。

当前挑战

WeatherProof数据集致力于解决恶劣天气条件下语义分割的性能退化问题，其核心挑战在于如何构建能够准确反映真实天气退化模式的评估基准。现有数据集如ACDC虽包含天气退化图像，但配对图像存在场景错位问题；而Foggy Cityscapes等合成数据集则无法完全模拟自然天气的复杂物理特性。在数据集构建过程中，研究团队面临双重挑战：首先需要确保清晰与恶劣天气图像对在场景结构、语义标签上保持严格一致，这要求对WeatherStream等源数据集进行精细筛选与标注；其次需涵盖全球不同地理环境、相机参数下的多样化天气模式，以构建具有广泛代表性的数据分布。这些挑战的突破为后续研究提供了更可靠的性能评估框架。

常用场景

经典使用场景

在计算机视觉领域，语义分割任务常因恶劣天气条件导致图像质量下降而面临性能瓶颈。WeatherProof数据集通过提供精确配对的清晰与恶劣天气图像，为研究者在受控环境下评估模型在雨、雾、雪等复杂气象条件下的分割性能提供了基准平台。该数据集的核心应用场景在于训练和验证基础模型在视觉退化环境中的鲁棒性，尤其适用于自动驾驶和机器人导航等对场景理解要求极高的领域。

解决学术问题

WeatherProof数据集有效解决了语义分割模型在恶劣天气图像上性能显著下降的学术难题。传统数据集如ADE20K或Cityscapes缺乏真实天气退化图像，而合成数据又存在与真实场景的差异。该数据集通过提供场景一致的配对图像，使研究者能够精确量化天气退化对模型性能的影响，并设计针对性训练策略，如一致性损失和语言引导机制，以提升模型在复杂气象条件下的分割精度。

衍生相关工作

基于WeatherProof数据集，研究者衍生出多项经典工作，如结合特征一致性损失和输出一致性损失的训练框架，以及利用CLIP模型进行语言引导的天气条件注入方法。这些方法在InternImage、ConvNeXt等基础模型上实现了高达18.4%的性能提升。同时，该数据集也促进了跨模态学习在恶劣天气语义分割中的应用，为后续研究如多天气联合建模和自适应退化补偿提供了重要基础。