UHD-Snow 和 UHD-Rain

UHD-Snow 和 UHD-Rain 是由大连理工大学数学科学学院构建的两个新的超高清图像恢复基准数据集，专门用于超高清图像去雪和去雨研究。每个数据集包含3200对降质/清晰4K分辨率图像，通过模拟雨雪物理过程合成。数据集创建过程中，采用了Photoshop的雨雪合成教程，并结合了不同的密度、方向和位置的雪片和雨条。这些数据集旨在解决超高清图像在恶劣天气条件下的清晰度恢复问题，为相关算法的设计和评估提供基础。

UHD-Snow and UHD-Rain are two novel ultra-high-definition (UHD) image restoration benchmark datasets constructed by the School of Mathematical Sciences of Dalian University of Technology, specifically dedicated to UHD image deraining and desnowing research. Each dataset comprises 3200 pairs of degraded and clean 4K-resolution images, which are synthesized by simulating the physical processes of rain and snow. During the dataset development, the rain and snow synthesis tutorials provided by Photoshop were adopted, with snowflakes and rain streaks of varying densities, directions and positions incorporated. These datasets aim to address the issue of clarity restoration for UHD images under adverse weather conditions, providing a solid foundation for the design and evaluation of relevant algorithms.

原始信息汇总

UHDDIP: Ultra-High-Definition Restoration: New Benchmarks and A Dual Interaction Prior-Driven Solution

数据集概述

UHD-Snow 数据集和 UHD-Rain 数据集

• 下载链接: Google Drive
• 描述: 包含3000对训练数据和200对测试数据。

数据准备

1. 下载数据集:

   任务	训练数据集	测试数据集
   UHD LLIE	UHD_LL (2000)	UHD_LL (150)
   UHD Desnowing	UHD_Snow (3000)	UHD_Snow (200)
   UHD Deraining	UHD_Rain (3000)	UHD_Rain (200)

2. 处理数据:

   • 所有训练和测试数据通过 Omnidata 处理，获取的正常先验图像放置在与相应输入图像和GT图像相同的路径下。

训练

1. 训练 UHD IILE 模型:

   • 修改 /src/Options/train_UHDDIP.yml 中 UHD_LL 数据集路径，然后运行: bash cd UHDDIP python -m torch.distributed.launch --nproc_per_node=2 --master_port=4321 basicsr/train.py -opt src/Options/train_UHDDIP.yml --launcher pytorch

2. 训练 UHD Desnowing 模型:

   • 修改 /src/Options/train_UHDDIP.yml 中 UHD_Snow 数据集路径，然后运行: bash cd UHDDIP python -m torch.distributed.launch --nproc_per_node=2 --master_port=4321 basicsr/train.py -opt src/Options/train_UHDDIP.yml --launcher pytorch

3. 训练 UHD Deraining 模型:

   • 修改 /src/Options/train_UHDDIP.yml 中 UHD_Rain 数据集路径，然后运行: bash cd UHDDIP python -m torch.distributed.launch --nproc_per_node=2 --master_port=4321 basicsr/train.py -opt src/Options/train_UHDDIP.yml --launcher pytorch

测试

1. 下载预训练模型:

   • 将所有预训练模型放置在 ./pretrained_models/ 目录下。

2. 测试: bash cd src python test_uhd.py

3. 计算 PSNR/SSIM/LPIPS 分数: bash python calculate_psnr_ssim.py

预训练模型和可视化结果

任务	模型	可视化结果
UHD LLIE	下载	下载
UHD Desnowing	下载	下载
UHD Deraining	下载	下载

搜集汇总

数据集介绍

构建方式

UHD-Snow 和 UHD-Rain 数据集的构建基于超高清图像恢复的实际需求，通过模拟雨雪物理过程生成。具体而言，研究团队从 UHDSR4K 数据集中提取了 2300 张原始超高清图像，并利用 Photoshop 的雨雪合成教程，结合 CSD 和 Rain100L/Rain100H 的雨雪掩码，合成了不同密度、方向和位置的雨雪图像。最终，每个数据集包含 3200 对 4K 分辨率的退化/清晰图像对，其中 3000 对用于训练，200 对用于测试。

特点

UHD-Snow 和 UHD-Rain 数据集的特点在于其高分辨率和多样性。每个数据集包含 3200 对 4K 分辨率的图像对，涵盖了不同密度、方向和位置的雨雪效果。数据集的多样性通过模拟不同密度的雪片、雪痕和雨痕来实现，确保了模型在训练和测试中的泛化能力。此外，数据集还通过高斯模糊等技术模拟了真实世界中的雨雪场景，进一步增强了数据的真实性。

使用方法

UHD-Snow 和 UHD-Rain 数据集主要用于超高清图像的去雪和去雨任务。研究人员可以通过这些数据集训练和评估图像恢复模型，特别是针对超高清分辨率的恢复算法。数据集的使用方法包括将退化图像输入模型，通过模型恢复出清晰的图像，并与数据集中的清晰图像进行对比，评估模型的恢复效果。此外，数据集还可用于验证模型在不同密度和方向的雨雪条件下的鲁棒性。

背景与挑战

背景概述

UHD-Snow 和 UHD-Rain 数据集是由大连理工大学、香港理工大学、南京理工大学和中山大学的研究团队于2024年提出的，旨在解决超高清（UHD）图像去雪和去雨任务中的基准数据不足问题。随着成像技术的飞速发展，4K分辨率（3840×2160像素）的超高清图像因其丰富的细节和广泛的色域而备受关注。然而，现有的图像恢复算法在处理超高清图像时表现不佳，尤其是在去雪和去雨任务中，缺乏专门的数据集限制了相关研究的进展。为此，研究团队构建了UHD-Snow和UHD-Rain数据集，每个数据集包含3200对4K分辨率的退化/清晰图像对，模拟了不同密度、方向和位置的雪花和雨滴效果。这些数据集的构建为超高清图像恢复领域提供了重要的基准支持，推动了相关算法的发展。

当前挑战

UHD-Snow 和 UHD-Rain 数据集在构建和应用中面临多重挑战。首先，超高清图像恢复任务本身具有较高的复杂性，尤其是在去雪和去雨任务中，雪花和雨滴的多样性和随机性使得模型难以准确捕捉和去除这些退化因素。其次，数据集的构建过程中，研究团队需要精确模拟雪花和雨滴的物理过程，确保生成的图像能够真实反映现实场景中的退化情况。此外，超高清图像的高分辨率带来了巨大的计算负担，如何在保证恢复效果的同时降低计算复杂度，是算法设计中的一大挑战。最后，现有的图像恢复模型在处理超高清图像时往往表现不佳，如何设计能够有效利用超高清图像细节和结构的模型，是当前研究的核心难题。

常用场景

经典使用场景

UHD-Snow 和 UHD-Rain 数据集在超高清图像修复领域具有重要的应用价值，尤其是在去雪和去雨任务中。这些数据集通过模拟真实的雪和雨物理过程，生成了3200对4K分辨率的退化/清晰图像对，为研究者提供了丰富的训练和测试资源。其经典使用场景包括训练和评估深度学习模型，特别是在超高清图像去雪和去雨任务中，帮助模型学习如何在复杂天气条件下恢复图像的清晰度和细节。

解决学术问题

UHD-Snow 和 UHD-Rain 数据集解决了超高清图像修复领域中的一个关键问题：缺乏专门针对去雪和去雨任务的高质量数据集。传统的数据集往往分辨率较低，无法满足超高清图像修复的需求。通过提供高分辨率的图像对，这些数据集使得研究者能够开发出更精确的算法，有效处理超高清图像中的雪和雨噪声，从而提升图像修复的质量和效率。

衍生相关工作

UHD-Snow 和 UHD-Rain 数据集的发布推动了超高清图像修复领域的一系列相关研究。基于这些数据集，研究者提出了多种创新的算法，如基于梯度先验和法线先验的双交互先验驱动修复框架（UHDDIP）。这些算法不仅在去雪和去雨任务中表现出色，还在低光增强、去雾等其他图像修复任务中取得了显著进展。此外，这些数据集还激发了更多关于超高清图像修复的基准测试和算法优化研究，推动了该领域的进一步发展。