RealRain-1k

RealRain-1k是由IEEE成员创建的高质量真实雨天图像数据集，包含1120对高分辨率清洁和雨天图像，涵盖低密度和高密度雨流。该数据集通过从大量真实世界雨天视频片段中自动生成，采用可控雨密度过滤方法，确保图像具有高分辨率、背景多样性、雨流多样性和严格的空间对齐。RealRain-1k不仅用于单图像去雨研究，还衍生出名为SynRain-13k的大规模合成数据集，通过将真实雨流层粘贴到自然图像上，减少合成与真实图像之间的领域差距。该数据集广泛应用于图像恢复领域，旨在解决真实场景中单图像去雨的挑战。RealRain-1k is a high-quality real-world rainy image dataset created by IEEE members, consisting of 1120 pairs of high-resolution clean and rainy images covering both low-density and high-density rain streaks. This dataset is automatically generated from a large number of real-world rainy video clips, adopting a controllable rain density filtering method to ensure that the images have high resolution, diverse backgrounds, diverse rain streaks, and strict spatial alignment. RealRain-1k is not only used for single-image deraining research, but also spawned a large-scale synthetic dataset named SynRain-13k, which reduces the domain gap between synthetic and real-world images by pasting real rain streak layers onto natural images. This dataset is widely applied in the field of image restoration, aiming to address the challenges of single-image deraining in real-world scenarios.

搜集汇总

数据集介绍

构建方式

RealRain-1k数据集的构建主要基于实际雨天的视频片段。研究者收集了1,120个高分辨率雨天的视频，涵盖不同场景、多样的雨条纹和丰富的背景。为了模拟真实世界中不同强度的降雨情况，研究者使用了一种简单有效的雨密度可控滤波方法，通过调整视频片段的长度来控制生成的雨图像中的雨密度。同时，为了获得高质量的雨和干净图像对，研究者还使用了一种简单的中值滤波方法来获得每个视频的参考干净（背景）图像。在生成过程中，研究者进行了三轮交叉检查和重新生成，以确保生成的图像对在严格的空间对齐、没有雨条纹的干净图像、各种雨条纹外观和多样化背景方面的质量。最终，研究者生成了1,120个高质量的图像三元组（干净、轻度雨、重度雨），分别构成了RealRain-1k-L和RealRain-1k-H两个版本的数据集。

使用方法

RealRain-1k数据集可以用于以下方面：1）作为监督学习（SL）的基准数据集，用于训练和评估单图像去雨（SID）方法；2）作为域泛化（DG）的基准数据集，用于研究SID方法在不同数据集上的泛化能力；3）作为跨域迁移学习（TL）的基准数据集，用于研究SID方法在不同领域之间的迁移学习能力。研究者可以在数据集的官方网站下载RealRain-1k数据集，并根据需要进行使用。

背景与挑战

背景概述

图像去雨是计算机视觉领域中的一个重要课题，它旨在从被雨滴模糊的图像中恢复出清晰、无雨的背景图像。近年来，随着深度学习技术的发展，基于深度学习的单图像去雨（SID）方法取得了显著的进展。然而，由于真实世界中雨/晴图像对获取的困难，现有的真实数据集普遍存在分辨率低、雨痕均匀、背景变化有限以及图像对错位等问题，导致对SID方法的评估不够全面。为了解决这些问题，RealRain-1k数据集应运而生。该数据集由1,120对高分辨率清洁和雨痕图像组成，具有低密度和高密度雨痕版本。RealRain-1k图像通过一种简单而有效的雨密度可控滤波方法自动生成，具有良好的高图像分辨率、背景多样性、雨痕多样性和严格的图像对齐特性。此外，RealRain-1k还提供了丰富的雨痕层，可以构建一个名为SynRain-13k的大规模合成数据集。该数据集的提出，不仅为SID研究提供了高质量的真实世界数据集，还为合成数据集的构建和应用提供了新的思路。

当前挑战

尽管RealRain-1k数据集在真实世界单图像去雨领域取得了重要突破，但仍面临一些挑战。首先，现有的SID方法在处理复杂场景时性能下降，尤其是在雨痕密度较高的情况下。其次，将模型从合成数据集迁移到真实场景时，模型泛化能力有限。此外，如何有效地利用现有的大规模合成数据集来提高真实雨痕图像的性能，仍然是一个值得探索的问题。

常用场景

经典使用场景

RealRain-1k数据集主要用于单图像去雨（SID）研究，该领域旨在从被雨滴覆盖的图像中恢复清晰无雨的背景图像。数据集包含了1,120对高分辨率图像，包括清洁图像和不同程度的降雨图像。RealRain-1k数据集的经典使用场景是在监督学习模式下训练和评估去雨模型，通过比较不同模型在恢复质量、模型复杂度、推理吞吐量和收敛速度方面的表现，为去雨技术的研究提供基准。

解决学术问题

RealRain-1k数据集解决了现有真实世界数据集在分辨率、降雨条纹均匀性、背景变化和图像对齐方面的问题。该数据集提供了高分辨率、多样化的背景和降雨条纹，以及严格的图像对齐，使得训练的去雨模型能够在处理各种真实世界降雨图像时具有更强的泛化能力。此外，RealRain-1k数据集还衍生出了SynRain-13k合成数据集，进一步扩大了数据集的规模，并通过使用真实的降雨层来减小合成图像与现实图像之间的域差距。

实际应用

RealRain-1k数据集的实际应用场景包括自动驾驶、无人机监控、安防监控等领域，这些领域中的图像采集系统经常受到降雨的影响。通过使用RealRain-1k数据集训练的去雨模型，可以有效地恢复降雨图像中的细节信息，提高图像质量，从而提升这些系统的准确性和可靠性。

数据集最近研究

最新研究方向

RealRain-1k 数据集的最新研究方向主要聚焦于真实场景下的单图像去雨（SID）。该数据集的建立旨在解决现有数据集中图像分辨率低、雨痕均匀、背景变化有限以及图像对错位等问题。RealRain-1k 包含 1,120 张高分辨率清晰和雨后图像对，具有低密度和高密度雨痕，通过从大量真实雨中视频剪辑中自动生成，具有良好的高图像分辨率、背景多样性、雨痕多样性和严格的空间对齐特性。此外，RealRain-1k 还提供了丰富的雨痕层作为副产品，使我们能够通过将雨痕层粘贴在大量自然图像上构建名为 SynRain-13k 的大规模合成数据集。基于 RealRain-1k 和 SynRain-13k，我们对十多种代表性的 SID 方法进行了基准测试，包括在 RealRain-1k 上的完全监督学习、到真实数据集的领域泛化和从合成到真实的迁移学习。实验结果表明，深度学习方法在图像恢复性能和模型复杂性方面明显优于传统的基于先验的方法。此外，还发现模型在不同雨密度图像上的泛化性能存在差异，这为未来真实场景下 SID 研究提供了有价值的见解。

相关研究论文

• Toward Real-world Single Image Deraining: A New Benchmark and Beyond

  IEEE · 2022年