RainDrop Clarity|图像处理数据集|自动驾驶数据集

arXiv2025-04-17 更新2024-07-26 收录

图像处理

自动驾驶

下载链接：

https://github.com/jinyeying/RaindropClarity

下载链接

链接失效反馈

资源简介：

RainDrop Clarity数据集是由NTIRE 2025 Challenge组织创建的，包含白天和夜晚的雨滴图像对或三元组，旨在推动真实世界条件下不同光照条件下雨滴去除的研究。该数据集分为训练集、验证集和测试集，包含总共9443个图像条目，其中训练集包含4713个三元组，共计14139个图像，验证集和测试集分别包含240和731个图像。数据集涵盖了白天和夜晚的场景，包含雨滴聚焦和背景聚焦的图像，以支持研究者在不同的光照和聚焦条件下进行雨滴去除算法的开发和评估。

提供机构：

NTIRE 2025 Challenge

创建时间：

2025-04-17

原始信息汇总

RaindropClarity 数据集概述

摘要

RaindropClarity 是一个大规模的真实世界雨滴去除数据集，旨在解决现有数据集的两个主要缺陷：背景模糊的雨滴图像和缺乏夜间雨滴场景。该数据集包含 15,186 对/三元组（雨滴、模糊和背景）的高质量图像，包括 5,442 张白天雨滴图像和 9,744 张夜间雨滴图像。具体来说，5,442 张白天图像中包含 3,606 张雨滴聚焦和 1,836 张背景聚焦图像；9,744 张夜间图像中包含 4,838 张雨滴聚焦和 4,906 张背景聚焦图像。

数据集下载

白天训练集：
- BaiduPan 链接：BaiduPan 提取码：j9ay
夜间训练集：
- BaiduPan 链接：BaiduPan 提取码：hmsw

预训练模型

DiT 模型：
- BaiduPan 链接：BaiduPan 提取码：xziv

评估

计算 PSNR、SSIM 和 SID： python python calculate_psnr_ssim_sid.py

请根据需要更改 base_path、time_of_day 和 model_name。

测试

白天扩散模型评估： bash bash run_eval_diffusion_day.sh
夜间扩散模型评估： bash bash run_eval_diffusion_night.sh

请在脚本中根据需要更改 model_name。

训练

训练脚本： bash CUDA_VISIBLE_DEVICES=1,2 python train.py --config daytime_64.yml --test_set Raindrop_DiT

请根据 model_name 和 image_size 更改 daytime_64.yml、daytime_128.yml 和 daytime_256.yml。

AI搜集汇总

数据集介绍

构建方式

Raindrop Clarity数据集的构建采用了多角度、多场景的采集方法，确保了数据集的全面性和多样性。研究团队使用高分辨率摄像设备，如Sony FDR-AX33 4K Ultra HD Handycam和Sony alpha 7R III数字相机，以及iPhone 14 Pro和iPhone 15 Pro Max的后置摄像头，捕捉了15,186对高质量的图像对和三元组。这些图像涵盖了白天和夜晚的不同光照条件，以及背景和雨滴焦点两种模式。通过调整摄像头的焦距和喷水装置的参数，研究团队成功捕捉了雨滴在不同形状、大小和密度下的图像，以及相应的清晰背景图像。

使用方法

Raindrop Clarity数据集适用于多种计算机视觉任务，特别是雨滴去除和图像恢复领域。研究者可以利用该数据集训练和评估雨滴去除算法，探索在不同焦点模式和日夜条件下的算法性能。数据集中的图像对和三元组提供了丰富的训练样本，有助于开发更加鲁棒和高效的雨滴去除模型。此外，数据集的公开发布也为学术界和工业界的研究人员提供了共享和协作的平台，推动该领域的技术进步。

背景与挑战

背景概述

在计算机视觉领域，雨滴去除技术对于提升图像质量至关重要。现有的雨滴去除数据集主要集中在背景聚焦的图像上，导致雨滴模糊，且大多为白天场景。然而，实际应用中，雨滴可能聚焦在镜头上，导致背景模糊，且夜间场景同样常见。为填补这一空白，新加坡国立大学、中国科学技术大学和电子科技大学联合推出了Raindrop Clarity数据集。该数据集包含15,186对高质量图像，涵盖白天和夜间场景，既有雨滴聚焦的图像，也有背景聚焦的图像。这一数据集的推出，旨在推动雨滴去除技术在复杂场景下的应用，特别是夜间和雨滴聚焦情况下的研究。

当前挑战

Raindrop Clarity数据集面临的挑战主要有两方面。首先，现有数据集缺乏雨滴聚焦的图像，导致算法在处理雨滴聚焦场景时表现不佳。其次，夜间雨滴图像的缺失使得现有算法难以应对夜间复杂的光照条件。构建过程中，研究人员需克服雨滴形状、大小和光照条件的多样性，确保数据集的真实性和代表性。此外，夜间图像的采集和处理也带来了技术上的挑战，如低光条件下的图像质量保证和雨滴与背景的清晰分离。这些挑战为雨滴去除技术的进一步发展提供了研究方向。

常用场景

经典使用场景

Raindrop Clarity数据集的经典使用场景主要集中在雨滴去除和背景恢复任务中。该数据集通过提供大量高质量的雨滴图像及其对应的清晰背景图像，使得研究人员能够开发和验证针对不同光照条件（如白天和夜晚）以及不同焦点（如雨滴焦点和背景焦点）的雨滴去除算法。这种多样性使得算法能够在各种实际应用中表现出色，如自动驾驶、监控系统和户外摄影等。

解决学术问题

Raindrop Clarity数据集解决了现有雨滴去除数据集的两个主要学术问题：一是缺乏雨滴焦点图像，导致背景模糊；二是缺乏夜间雨滴场景，限制了算法在不同光照条件下的泛化能力。通过提供包含雨滴焦点和背景焦点图像的大规模数据集，Raindrop Clarity促进了针对复杂场景和光照条件的雨滴去除算法的研究，推动了该领域的技术进步。

实际应用

在实际应用中，Raindrop Clarity数据集为自动驾驶汽车、监控摄像头和户外摄影设备提供了关键支持。例如，自动驾驶汽车在雨天行驶时，需要实时去除挡风玻璃上的雨滴以确保清晰的视野；监控摄像头在夜间工作时，需要有效去除镜头上的雨滴以保持图像质量。此外，户外摄影师和电影制作人也可以利用该数据集开发工具，自动去除照片和视频中的雨滴，提升作品质量。

数据集最近研究