RealLQ250

包含250张真实世界低质量图像的基准数据集。

A benchmark dataset containing 250 real-world low-quality images.

原始信息汇总

DreamClear 数据集概述

数据集简介

DreamClear 是一个专注于高容量真实世界图像恢复的数据集，旨在通过隐私安全的数据集构建方法提升图像恢复的质量。

主要贡献者

• Yuang Ai^1,2
• Xiaoqiang Zhou^1,4
• Huaibo Huang^1,2
• Xiaotian Han³
• Zhengyu Chen³
• Quanzeng You³
• Hongxia Yang³

机构

• ¹MAIS & NLPR, Institute of Automation, Chinese Academy of Sciences
• ²School of Artificial Intelligence, University of Chinese Academy of Sciences
• ³ByteDance, Inc
• ⁴University of Science and Technology of China

数据集发布信息

• 2024.10.25: 发布 RealLQ250 基准测试集，包含 250 张真实世界低质量图像。
• 2024.10.25: 发布训练和推理代码（256->1024）以及预训练模型。
• 2024.10.24: 创建此仓库。

数据集内容

• RealLQ250: 包含 250 张真实世界低质量图像的基准测试集。

数据集下载

• 预训练模型和 RealLQ250 基准测试集可从 Huggingface 和 Google Drive 下载。

数据集使用

训练数据准备

1. 生成配对数据： shell python3 tools/make_paired_data.py --gt_path gt_path1 gt_path2 ...
   --save_dir /path/to/save/folder/ --epoch 1

2. 提取 T5 特征： shell python3 tools/extract_t5_features.py --t5_ckpt /path/to/t5-v1_1-xxl --caption_folder /path/to/caption/folder --save_npz_folder /path/to/save/npz/folder

训练 DreamClear

shell python3 -m torch.distributed.launch --nproc_per_node=8 --nnodes=... --node_rank=... --master_addr=... --master_port=... train_dreamclear.py configs/DreamClear/DreamClear_Train.py --load_from /path/to/PixArt-XL-2-1024-MS.pth --vae_pretrained /path/to/sd-vae-ft-ema --swinir_pretrained /path/to/general_swinir_v1.ckpt --val_image /path/to/RealLQ250/lq/val_image.png --val_npz /path/to/RealLQ250/npz/val_image.npz --work_dir experiments/train_dreamclear

推理

shell python3 -m torch.distributed.launch --nproc_per_node 1 --master_port 1234 test_1024.py configs/DreamClear/DreamClear_Test.py --dreamclear_ckpt /path/to/DreamClear-1024.pth --swinir_ckpt /path/to/general_swinir_v1.ckpt --vae_ckpt /path/to/sd-vae-ft-ema --lre --cfg_scale 4.5 --color_align wavelet --image_path /path/to/RealLQ250/lq --npz_path /path/to/RealLQ250/npz --save_dir validation

许可证

本数据集和代码基于 Apache 2.0 许可证。

引用

@article{ai2024dreamclear, title={DreamClear: High-Capacity Real-World Image Restoration with Privacy-Safe Dataset Curation}, author={Ai, Yuang and Zhou, Xiaoqiang and Huang, Huaibo and Han, Xiaotian and Chen, Zhengyu and You, Quanzeng and Yang, Hongxia}, journal={Advances in Neural Information Processing Systems}, year={2024} }

搜集汇总

数据集介绍

构建方式

RealLQ250数据集的构建基于真实世界图像的低质量（LQ）版本，通过精心挑选和处理，确保数据集的高质量和代表性。该数据集包含250张真实世界的LQ图像，这些图像经过严格的筛选和预处理，以确保其在图像恢复任务中的适用性。构建过程中，研究人员采用了先进的图像处理技术，确保每张图像的低质量版本能够真实反映实际应用场景中的图像退化情况。

使用方法

使用RealLQ250数据集进行图像恢复任务时，用户首先需要下载数据集并解压缩。随后，可以根据提供的训练和推理代码进行模型训练和测试。训练过程中，用户需准备高质量（HQ）和低质量（LQ）图像对，并使用T5模型提取文本特征以加速训练。推理阶段，用户可以通过加载预训练模型对LQ图像进行恢复，并根据需要调整配置参数以优化恢复效果。

背景与挑战

背景概述

RealLQ250数据集由Yuang Ai等研究人员于2024年创建，隶属于中国科学院自动化研究所（MAIS & NLPR）、中国科学院大学人工智能学院、字节跳动公司以及中国科学技术大学。该数据集的核心研究问题聚焦于高容量真实世界图像恢复，旨在通过隐私安全的数据集构建方法，提升图像恢复技术的实际应用能力。RealLQ250包含250张真实世界低质量（LQ）图像，为图像恢复领域的研究提供了宝贵的资源，对推动图像处理技术的发展具有重要意义。

当前挑战

RealLQ250数据集在构建过程中面临多重挑战。首先，收集和处理真实世界低质量图像的数据隐私问题是一个主要难题，确保数据集的隐私安全至关重要。其次，图像恢复技术在处理复杂背景和多样化的图像内容时，如何保持高精度和高效率是一个持续的研究挑战。此外，数据集的多样性和代表性也是构建过程中需要考虑的关键因素，以确保训练模型在不同场景下的泛化能力。

常用场景

经典使用场景

在图像处理领域，RealLQ250数据集以其高质量的低质量图像对而闻名，主要用于训练和评估图像恢复算法。该数据集的经典使用场景包括但不限于：图像超分辨率、去噪、去模糊以及图像增强等任务。通过提供真实的低质量图像及其对应的高质量参考图像，RealLQ250为研究者提供了一个理想的平台，以测试和优化各种图像恢复技术的效果。

解决学术问题

RealLQ250数据集在学术研究中解决了图像恢复领域中的多个关键问题。首先，它提供了真实的低质量图像，使得研究者能够更准确地评估算法在实际应用中的表现。其次，通过包含多样化的图像内容和复杂的降质情况，该数据集有助于推动图像恢复算法在处理不同场景和条件下的鲁棒性和泛化能力。此外，RealLQ250还促进了隐私保护技术的研究，确保数据集的构建和使用符合隐私安全标准。

实际应用

在实际应用中，RealLQ250数据集为图像恢复技术的发展提供了坚实的基础。例如，在监控系统中，低质量的监控图像可以通过该数据集训练的算法得到显著改善，从而提高识别和分析的准确性。在医疗影像处理中，该数据集也有助于提升图像的清晰度和细节，辅助医生进行更精确的诊断。此外，RealLQ250还支持在移动设备和社交媒体平台上应用图像增强技术，提升用户体验。

数据集最近研究

最新研究方向

在图像恢复领域，RealLQ250数据集的最新研究方向主要集中在高容量真实世界图像恢复技术的开发与优化。该数据集的发布旨在推动隐私安全的数据集构建，通过提供250张真实世界低质量（LQ）图像，为研究人员提供了一个评估和改进图像恢复算法的基准。这一研究方向不仅有助于提升图像恢复技术的实际应用效果，还强调了在数据收集和处理过程中保护用户隐私的重要性。随着DreamClear等预训练模型的发布，研究人员可以更高效地进行图像恢复实验，进一步推动该领域的前沿技术发展。