LHP-Rain

LHP-Rain是由华中科技大学人工智能与自动化学院多谱信息处理技术国家级重点实验室创建的大规模高质量真实雨天图像数据集，包含3000个视频序列，总计超过100万对高分辨率（1920*1080）的雨天与晴天图像。该数据集旨在解决真实图像去雨（RID）中的关键问题，特别是针对多种雨类型，如雨丝、雾化效果、遮挡和地面溅水。数据集的创建过程中，通过智能手机捕捉高分辨率的真实雨视频，并采用新颖的鲁棒低秩张量恢复模型生成高质量的地面实况（GT）。LHP-Rain不仅用于雨天图像恢复，还支持在恶劣天气条件下的目标检测和分割任务，适用于自动驾驶和视频监控场景，旨在提高图像质量并解决真实世界中的雨天图像问题。LHP-Rain is a large-scale, high-quality real rainy image dataset developed by the National Key Laboratory of Multispectral Information Processing Technology, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology. It consists of 3000 video sequences, with a total of over 1 million pairs of high-resolution (1920*1080) rainy and clear-sky images. This dataset aims to address the core challenges in real-world image deraining (RID), especially covering diverse rain types including rain streaks, fog-like artifacts, occlusion, and ground splashing. During the dataset construction, high-resolution real rainy videos were captured using smartphones, and a novel robust low-rank tensor recovery model was adopted to generate high-quality ground truth (GT). Beyond rainy image restoration, LHP-Rain also supports object detection and segmentation tasks under adverse weather conditions, which is applicable to autonomous driving and video surveillance scenarios. Its goal is to improve image quality and solve real-world rainy image-related problems.

搜集汇总

数据集介绍

构建方式

LHP-Rain数据集的构建方式是通过收集来自智能手机拍摄的真实雨景视频序列，并利用三脚架保持相机静止，从而确保背景的静态性。通过人工筛选去除移动物体后，使用提出的鲁棒低秩张量恢复模型（RLRTR）来获取高质量的配对地面实况图像。该模型通过利用静态背景和动态雨之间的运动差异，有效地分离静态背景和动态雨，从而生成高质量的地面实况图像。数据集包含来自世界各地的3000个视频序列，每个序列包含超过10秒的视频，共约100万个帧对，覆盖了多种场景和雨的类型，包括雨滴、雾化、遮挡和地面溅射。

特点

LHP-Rain数据集的特点在于其高分辨率、高多样性和高质量的地面实况图像。数据集中的图像分辨率高达1920*1080像素，能够提供清晰的细节。此外，数据集不仅包含了天空中的传统雨滴和雾化效果，还首次关注了地面溅射这一在实际场景中常见但常被忽视的现象。数据集的构建还注重了场景的多样性，包含了多种典型的场景，如停车场、街道、庭院和森林等，以及白天和夜晚的不同光照条件。为了满足高级视觉任务的需求，数据集还提供了对象检测和车道分割的注释。

使用方法

LHP-Rain数据集的使用方法包括用于训练和评估单图像去雨模型。数据集的配对图像可以用于监督学习方法，通过比较去雨后的图像与地面实况图像来评估模型的性能。数据集中的注释信息，如对象检测和车道分割，也可以用于评估去雨后图像对高级视觉任务的影响。此外，数据集还可以用于研究雨景图像的去雨技术，以及开发新的去雨模型和算法。数据集的规模和多样性使其成为研究和开发去雨技术的理想平台。

背景与挑战

背景概述

图像去雨领域的研究日益深入，尤其是在深度学习技术的推动下，基于学习的图像去雨方法取得了显著进展。然而，缺乏大规模高质量的配对训练样本成为制约真实图像去雨（RID）的主要瓶颈。为了解决这一难题并推动RID的发展，研究人员构建了一个大规模高配对真实雨基准（LHP-Rain），包括3000个视频序列和100万个高分辨率（1920*1080）帧对。该数据集的优势在于雨的多样性和大规模、图像的高分辨率和高质量的地面真实数据。具体来说，LHP-Rain中的真实雨不仅包含经典的雨迹、遮蔽效应和遮挡，还包括被去雨社区忽视的地面飞溅。此外，研究人员提出了一种新的鲁棒低秩张量恢复模型，以生成更好地分离静态背景和动态雨的GT。此外，还设计了一种基于简单Transformer的单图像去雨基线，该基线同时利用图像和雨层中的自注意力和跨层注意力的判别特征表示。广泛的实验验证了该数据集和去雨方法相对于最先进技术的优越性。

当前挑战

尽管基于学习的图像去雨方法在模拟数据集上取得了令人印象深刻的结果，但一个不可忽视的事实是，这些竞争方法在多样化的真实雨场景中表现不佳。核心原因是简化的合成雨和复杂的真实雨之间存在领域转移问题。为了解决这个问题，一个直观的想法是尽可能使雨退化模型尽可能真实。研究人员将雨成像过程公式化为一个全面的雨模拟模型，其中考虑了雨迹、累积遮蔽、霾和遮挡等不同视觉外观的雨。不幸的是，这些线性模拟模型仍然不能很好地适应现实雨的分布。例如，在图1中，现实雨迹通常不是一个精确的规则线模式条纹，而是具有不规则的非均匀强度和宽度。除了雨迹之外，现有的雨模拟模型无法处理地面上的复杂雨飞溅，这表现为密集的点形状纹理、水滴或水波，从而破坏了交通标志（如车道线）的能见度，并对高级视觉产生了巨大的负面影响。另一个研究路线从真实的雨视频中获取“干净”的对应物，这利用了静态图像背景和动态雨之间的运动差异。不幸的是，他们简单地采用了一些简单的滤波策略，如百分位数滤波器和中值滤波器，导致GT残留雨或过度平滑现象。此外，现有的真实配对雨数据集的数量和多样性仍然有限。很少有数据集考虑地面上的雨飞溅，这在现实生活中很常见，但在去雨社区中很少提及。而且，现有的视频序列和图像帧的数量不足以覆盖多样化的雨，包括不同的雨角、强度、密度、长度和宽度等。最后但并非最不重要的是，现有的真实雨图像大多是从互联网上下载的低质量图像：压缩、水印、低分辨率、没有注释等。因此，构建大规模高质量的配对真实雨数据集是非常必要的。

常用场景

经典使用场景

LHP-Rain数据集主要应用于图像去雨领域，尤其针对真实场景中的雨滴条纹、雾气效果、遮挡和地面溅水等复杂雨况。该数据集提供了大量高分辨率的雨景和清晰图像的配对数据，为基于学习的图像去雨方法提供了高质量的训练样本，有助于提升算法在真实雨景中的去雨效果。

解决学术问题

LHP-Rain数据集解决了现有真实雨景数据集数量和多样性不足的问题。它包含了超过100万帧的高分辨率图像，涵盖了多种雨况，包括地面溅水，这在之前的雨景数据集中是很少被考虑的。此外，该数据集还提供了高质量的地面真实图像，有助于提升去雨算法的性能。

衍生相关工作

LHP-Rain数据集的提出激发了更多关于图像去雨算法的研究。基于该数据集，研究人员设计了新的去雨算法，如SCD-Former，该算法利用自注意力和跨层注意力机制，有效提升了去雨效果。此外，LHP-Rain数据集还被用于评估和改进其他图像去雨算法，推动了该领域的研究进展。