SupER数据库

SupER数据库是由弗里德里希-亚历山大大学埃尔朗根-纽伦堡分校创建的，包含超过80,000张图像，涵盖14个场景，旨在解决模拟到真实差距的问题，特别是在超分辨率(SR)性能评估中。该数据集通过硬件合并获取，覆盖了CMOS传感器噪声、真实采样在四个分辨率级别、九种场景运动类型、两种光度条件以及五级有损视频编码。SupER数据库为量化评估提供了像素级地面实况，是现有基准在质量和数量上的一次飞跃，适用于微调基于学习的方法，并促进未来对真实图像的评估。

The SupER database was created by Friedrich-Alexander University Erlangen-Nuremberg. It contains over 80,000 images across 14 scenarios, and is intended to mitigate the simulation-to-real gap, particularly for performance evaluation of super-resolution (SR) tasks. This dataset is acquired through hardware-based integration, covering CMOS sensor noise, real-world sampling across four resolution levels, nine types of scene motion, two photometric conditions, and five levels of lossy video coding. The SupER database provides pixel-level ground truth for quantitative evaluation, representing a qualitative and quantitative leap over existing benchmarks. It is applicable for fine-tuning learning-based methods and facilitates future evaluations of real-world images.

搜集汇总

数据集介绍

构建方式

Super-Resolution Erlangen (SupER)数据库通过捕捉多分辨率下的低分辨率（LR）图像和相应的地面真实高分辨率（HR）图像构建而成。首先，使用相机捕捉静态场景下的多帧视频，每个时间步的地面真实HR图像通过平均连续帧计算得到。然后，通过硬件像素合并获得与地面真实HR图像相关的LR数据。此外，还包含了经过不同级别的H.265/HEVC编码的LR图像，以研究视频压缩对超分辨率性能的影响。数据库覆盖了14个实验室场景，包括文本、模拟监控场景和各种物体。

特点

SupER数据库的特点包括：1）真实LR图像的捕捉；2）使用H.265/HEVC编码的压缩数据；3）相应的HR地面真实数据。此外，数据库的大小在LR/HR样本数量上超过了现有基准数据集一个数量级。这使得数据库不仅可用于大规模基准测试，还可用于基于学习的方法的微调。

使用方法

SupER数据库可用于评估超分辨率算法的性能。首先，使用不同算法对LR图像进行超分辨率处理，生成HR图像。然后，使用全参考质量评估方法，如峰值信噪比（PSNR）、结构相似性（SSIM）和信息保真度准则（IFC），将生成的HR图像与地面真实HR图像进行比较。此外，还可以通过大规模观察者研究来评估图像质量，该研究采用强制选择成对比较法，要求观察者从成对呈现的图像中选择质量较高的图像。通过这些评估方法，可以量化超分辨率算法的性能，并与人类视觉感知进行比较。

背景与挑战

背景概述

超分辨率（SR）技术旨在提升数字图像的空间分辨率，无需修改相机硬件。这在诸多领域具有重要意义，如监控、遥感、3D成像和医疗保健等。然而，当前定量研究主要在模拟数据上进行评估，这可能导致SR方法在实际图像上的性能被高估。为了弥合模拟与真实数据之间的差距，Thomas K ̈ohler等人于2019年创建了Super-Resolution Erlangen (SupER)数据库，该数据库包含超过8万张图像，涵盖了14个场景，并具有像素级真实图像作为参考。该数据库不仅提供了不同分辨率和压缩水平的图像，还包含了场景运动类型和光照条件等信息，为SR算法的性能评估提供了全面的数据支持。

当前挑战

SupER数据库的创建旨在解决当前SR研究中的关键挑战，即模拟数据与真实数据之间的差距。由于模拟数据往往无法完全反映真实图像的复杂性和噪声，因此在模拟数据上评估的SR方法性能可能无法准确反映其在实际图像上的表现。此外，构建包含真实图像序列和像素级真实图像的数据库也面临技术上的挑战，例如图像采集、图像对齐和数据处理等。SupER数据库通过硬件 binning 技术获取真实低分辨率图像，并结合运动估计和重建算法，为SR算法的评估和开发提供了可靠的数据基础。

常用场景

经典使用场景

SupER数据库作为首个全面的实验室超分辨率数据库，为真实场景下的图像超分辨率提供了宝贵的基准数据。它包含了超过80k张图像，涵盖了CMOS传感器噪声、四种分辨率的真实采样、九种场景运动类型、两种光度条件以及五级有损视频编码。该数据集在质量和数量上都超过了现有的基准数据集。SupER数据库的经典使用场景包括对19种流行的单图像和多帧算法进行基准测试，这些测试包括利用真实数据进行的定量研究和大规模观察者研究中的定性评估。

实际应用

SupER数据库的实际应用场景包括但不限于：1) 评估和比较现有的SR算法的性能；2) 训练和优化基于深度学习的SR模型；3) 研究真实场景下SR算法的性能瓶颈；4) 开发和测试新的SR算法和模型。此外，该数据集还可以用于研究视频压缩、场景运动和光度变化等因素对SR性能的影响，从而为实际应用中的SR算法设计和优化提供指导。

衍生相关工作

SupER数据库的发布促进了超分辨率研究领域的发展，衍生出了一系列相关的研究工作。例如，一些研究者利用SupER数据库对现有的SR算法进行了重新评估，发现了一些在模拟数据上表现良好的算法在实际数据上的性能并不理想。这促使研究者们更加关注真实数据下的SR性能评估，并推动了基于真实数据的SR算法的开发。此外，SupER数据库还被用于训练和优化基于深度学习的SR模型，这些模型在实际应用中取得了良好的效果。