LMR

LMR是由中国科学院自动化研究所和百度公司联合创建的大规模多参考图像超分辨率数据集。该数据集包含112,142组300×300像素的训练图像，每组图像配有5张不同相似度的参考图像，旨在解决现有单参考图像训练与实际应用中多参考图像测试之间的不匹配问题。LMR数据集的创建过程涉及从MegaDepth数据集中筛选相似图像对，并通过特定的预处理步骤确保图像对的适用性。该数据集主要应用于图像超分辨率技术，特别是在需要多参考图像的场景中，以提升图像恢复的质量和细节表现。LMR is a large-scale multi-reference image super-resolution dataset jointly developed by the Institute of Automation, Chinese Academy of Sciences, and Baidu Inc. This dataset comprises 112,142 sets of 300×300 training images, where each set is accompanied by 5 reference images with different similarity levels. It is designed to address the mismatch between single-reference image training in existing research and multi-reference image testing in real-world applications. The construction of the LMR dataset includes screening similar image pairs from the MegaDepth dataset and performing specific preprocessing procedures to guarantee the suitability of these image pairs. This dataset is primarily utilized for image super-resolution techniques, particularly in scenarios requiring multi-reference images, to improve the quality and detail restoration performance of reconstructed images.

搜集汇总

数据集介绍

构建方式

在基于参考的超分辨率研究领域，数据集的构建对模型性能具有决定性影响。LMR数据集的构建源于MegaDepth数据集，该数据集最初为单视图深度预测而设计，包含大量具有重叠视点的互联网图像。通过严格的预处理流程，包括峰值信噪比筛选、关键点重叠率控制以及目标尺寸比例约束，确保了参考图像与目标图像之间的内容相似性。在此基础上，依据重叠率与尺寸比例将图像对划分为高、中、低三种相似度等级。最终，通过从目标图像随机裁剪补丁，并利用三维稀疏点云映射在参考图像中选取对应补丁，形成了包含112,142组300×300训练图像的大规模多参考数据集，每组均配备五种不同相似度的参考图像。

特点

LMR数据集在基于参考的超分辨率领域中展现出显著特点。其规模远超现有数据集，训练图像数量达到CUFED5的十倍，且图像分辨率更高，为模型训练提供了更丰富的纹理信息。更为突出的是，该数据集首次为每个低分辨率输入图像提供五张具有不同相似度等级的参考图像，涵盖了高、中、低三种相似度层次，模拟了实际应用中多参考图像的复杂场景。这种多参考配置有效解决了以往训练与测试阶段参考图像数量不匹配的问题，为多参考超分辨率方法的研发奠定了坚实基础。

使用方法

LMR数据集的使用旨在推动多参考超分辨率方法的发展。研究者可利用该数据集训练能够处理任意数量参考图像的模型，例如论文中提出的MRefSR方法，其通过多参考注意力模块实现不同参考图像间的特征融合，并借助空间感知滤波模块进行特征选择。在实际应用中，模型可同时利用多张参考图像的纹理信息，显著提升超分辨率重建的质量。此外，数据集的大规模和高分辨率特性有助于增强模型的泛化能力，使其在CUFED5、Sun80等多种测试集上均表现出优越性能。

背景与挑战

背景概述

在计算机视觉领域，参考图像超分辨率（RefSR）技术通过利用高质量参考图像的纹理信息，相较于单图像超分辨率（SISR）展现出显著优势。然而，长期以来，该领域的研究受限于训练数据集的匮乏，尤其是缺乏多参考图像训练集，导致训练与测试场景不匹配。为此，中国科学院自动化研究所与百度公司的研究团队于2023年共同构建了大规模多参考超分辨率数据集LMR。该数据集包含112,142组300×300训练图像，规模为现有最大RefSR数据集的10倍，且每组配备5张不同相似度的参考图像。LMR的创建旨在推动RefSR研究从单参考向多参考范式转变，有效解决了模型在测试或实际应用中无法充分利用多参考图像的核心问题，为相关算法的发展提供了关键数据支撑。

当前挑战

LMR数据集面临的挑战主要体现在两个方面：其一，在领域问题层面，参考图像超分辨率需解决如何高效融合多参考图像中的纹理信息以提升重建质量，这要求模型能够处理任意数量的参考图像并建模其复杂关联，而现有方法多局限于单参考训练，难以适应实际多参考场景。其二，在构建过程中，数据集的创建需从原始MegaDepth数据中筛选具有不同相似度的参考图像，涉及关键点匹配、重叠率与尺寸比计算等复杂预处理步骤，以确保参考图像与目标图像内容的有效对齐；同时，为满足训练需求，需裁剪对应图像块并保持内容一致性，这增加了数据标注与整理的难度。

常用场景

经典使用场景

在基于参考的超分辨率研究领域，LMR数据集作为首个大规模多参考图像训练资源，其经典应用场景在于为多参考超分辨率模型提供标准化训练与评估基准。该数据集通过提供每组包含五张不同相似度参考图像的丰富样本，使得研究者能够系统探索多参考图像间的协同机制，有效解决了传统单参考训练与多参考测试之间的范式割裂问题。

衍生相关工作

基于LMR数据集衍生的经典工作包括多参考注意力机制与空间感知滤波模块的创新设计。研究者受该数据集启发提出的MRefSR框架，通过多参考注意力模块实现了任意数量参考图像的特征融合，并利用空间感知滤波模块进行自适应特征选择。后续研究进一步扩展了跨尺度对齐网络与动态聚合架构，形成了以LMR为基础的多参考超分辨率方法体系，持续推动该领域的技术演进。

数据集最近研究

最新研究方向

在图像超分辨率领域，基于参考的超分辨率技术因其能利用高质量参考图像提升重建效果而备受关注。LMR数据集的推出，首次解决了多参考图像训练数据缺失的瓶颈，推动了该领域从单参考向多参考研究的范式转变。当前前沿研究聚焦于开发能够有效融合多参考图像特征的网络架构，如通过多参考注意力模块实现任意数量参考图像的自适应特征融合，并结合空间感知滤波模块优化特征选择。这些进展不仅显著提升了超分辨率模型的性能与泛化能力，也为实际应用中多参考场景的部署提供了理论基础与技术支撑，标志着图像超分辨率技术向更灵活、高效的方向演进。

相关研究论文

• LMR: A Large-Scale Multi-Reference Dataset for Reference-based Super-Resolution

  中国科学院自动化研究所 · 2023年