RealBSR

RealBSR是由中山大学等机构创建的大规模真实世界突发图像超分辨率数据集，包含579组RAW版本和639组RGB版本数据。每组数据包含14张低分辨率图像和一张高分辨率图像，用于探索多帧图像细节的忠实重建。数据集通过连续拍摄模式和光学变焦策略捕捉，避免了原始低分辨率数据的颜色风格变化。RealBSR旨在为敏感应用如医学影像提供高分辨率图像预测，推动真实世界突发SR应用的研究。

RealBSR is a large-scale real-world burst image super-resolution dataset developed by Sun Yat-sen University and other institutions. It contains 579 sets of RAW format data and 639 sets of RGB format data. Each set includes 14 low-resolution images and one high-resolution image, targeting the exploration of faithful reconstruction of multi-frame image details. The dataset is captured via continuous shooting mode and optical zoom strategy, which eliminates color style variations in the original low-resolution data. RealBSR aims to provide high-resolution image prediction for sensitive applications such as medical imaging, and promote research on real-world burst super-resolution applications.

搜集汇总

数据集介绍

构建方式

RealBSR数据集采用光学变焦策略进行数据收集，使用索尼单反相机（Alpha 7R）连续拍摄14张低分辨率图像，并通过光学变焦拍摄一张高分辨率图像。这些图像在各种场景中收集，例如建筑物、海报、植物、雕塑和船只。为了方便模型训练，将输入裁剪成160x160的块。数据集有两个版本，即RAW版本和RGB版本，分别包含579组和639组数据。

特点

RealBSR数据集具有以下特点：1）像素偏移：在RealBSR中，50%的帧偏移小于1像素，25%的帧偏移在1到2像素之间，25%的帧偏移大于2像素。2）图像多样性：通过灰度共生矩阵（GLCM）分析图像纹理，RealBSR数据集具有丰富的图像纹理特征。3）跨设备分布：RealBSR数据集避免了BurstSR数据集中存在的跨设备分布问题。

使用方法

RealBSR数据集可用于评估和训练多帧超分辨率模型。数据集包含两个版本，即RAW版本和RGB版本，用户可以根据需要选择合适的版本。使用数据集时，需要将输入图像裁剪成160x160的块。此外，用户还可以根据需要使用数据集中的不同评估指标来评估模型性能。

背景与挑战

背景概述

图像超分辨率（SR）作为计算机视觉领域的重要研究方向，旨在从低分辨率（LR）图像中重建出高分辨率（HR）图像。近年来，单图像超分辨率（SISR）取得了显著的进展，但其在真实场景下重建高质量图像的能力仍然受限。为了解决这个问题，多帧超分辨率（MFSR）技术应运而生，它利用多个低分辨率图像中的细节信息来重建高质量的图像。RealBSR数据集正是在这样的背景下创建的，旨在探索如何从多个帧中重建图像细节。该数据集由中山大学、北京大学深圳研究生院和清华大学的研究人员于2023年9月发布，包含两个版本：RealBSR-RAW和RealBSR-RGB。RealBSR数据集为真实场景下的图像细节重建提供了基准，并为研究MFSR技术提供了宝贵的资源。

当前挑战

RealBSR数据集和相关的研究方法面临着一些挑战。首先，如何有效地融合多个低分辨率输入仍然是一个难题，尤其是在真实世界数据中。其次，人工合成的数据难以在真实场景中泛化。为了解决这些问题，RealBSR数据集采用了光学变焦策略来收集数据，并提供了两个版本：RAW和RGB。此外，RealBSR数据集还引入了联邦亲和融合（FAF）策略，旨在通过亲和差异图来聚合帧之间的互补信息。在实验中，FBAnet模型在RealBSR数据集上取得了优于现有方法的性能。尽管RealBSR数据集和相关的研究方法取得了一定的成果，但仍然存在一些局限性。例如，FBAnet模型采用的简单仿射变换难以扩展到视频超分辨率任务中，且无法同时解决图像超分辨率和去噪问题。未来，研究人员将继续探索这些挑战，并改进MFSR技术。

常用场景

经典使用场景

RealBSR数据集主要用于探索从多帧低分辨率图像中重建图像细节的真实性。该数据集为研究人员提供了一个现实世界的基准，用于测试和开发图像超分辨率技术，特别是针对多帧图像超分辨率（MFSR）方法。MFSR技术利用多个低分辨率图像之间的像素位移信息来重建高质量的图像，这在单图像超分辨率（SISR）方法中是一个挑战。RealBSR数据集的收集方式是通过光学变焦策略，确保了低分辨率和高质量图像之间的真实像素位移信息，为MFSR方法的研究提供了宝贵的资源。

衍生相关工作

RealBSR数据集的发布推动了多帧图像超分辨率技术的研究，并衍生出了一些相关的工作。例如，基于RealBSR数据集，研究人员提出了Federated Burst Affinity Network（FBAnet）模型，该模型通过引入联邦亲和融合（FAF）策略来聚合帧间互补信息，从而有效地解决了现实世界MFSR中的融合问题。此外，RealBSR数据集还促进了基于Transformer的图像超分辨率技术的发展，例如，FBAnet模型中使用的Transformer-based模块，通过聚合局部特征和全局长期依赖性来解码突发表示，从而实现了高质量的图像重建。

数据集最近研究

最新研究方向

RealBSR数据集的建立标志着对现实场景下图像细节重建的研究迈出了重要一步。该数据集旨在解决单图像超分辨率（SISR）在现实场景下重建高质量图像的局限性，尤其是当输入图像信息有限时。通过收集一系列低分辨率（LR）图像和相应的地面真实高分辨率（HR）图像，RealBSR为研究多帧超分辨率（MFSR）提供了宝贵的资源，以探索如何从多个帧中忠实重建图像细节。FBAnet网络模型的提出，特别是其联邦亲和融合（FAF）策略，为解决现实场景下图像退化导致的像素级位移问题提供了新的思路。通过引入同态矩阵进行结构几何层面的简单且有效的对齐，并利用FAF模块聚合帧间互补信息，FBAnet在RealBSR数据集上展现出优于现有方法的性能。该研究不仅推动了MFSR领域的发展，也为现实场景下的图像重建提供了新的研究方向和思路。

相关研究论文

• Towards Real-World Burst Image Super-Resolution: Benchmark and Method

  中山大学 · 2023年