NTIRE-2023

NTIRE-2023数据集是专为光场图像超分辨率挑战而开发的新数据集，包含16个合成场景和16个真实世界图像，均由Lytro Illum相机捕获。数据集的验证和测试集均具有5×5的角分辨率，合成LF的空分辨率为500×500，真实世界LF的空分辨率为624×432。此数据集旨在为光场图像超分辨率技术提供基准，并推动相关研究的发展。

The NTIRE-2023 dataset is a novel dataset developed specifically for the Light Field Image Super-Resolution Challenge. It contains 16 synthetic scenes and 16 real-world images, all captured by a Lytro Illum camera. Both the validation and test splits of the dataset have an angular resolution of 5×5. The spatial resolution of the synthetic light fields (LFs) is 500×500, while that of the real-world LFs is 624×432. This dataset aims to provide a benchmark for light field image super-resolution technologies and promote the advancement of related research.

搜集汇总

数据集介绍

构建方式

NTIRE-2023 数据集构建于光场图像超分辨率 (LF Image Super-Resolution) 的研究背景，旨在通过将低分辨率光场图像提升至高分辨率，从而实现更高感知质量和下游应用的需求。该数据集采用广泛使用的公共光场数据集作为训练集，并提出了一个新的光场数据集 NTIRE-2023 用于验证和测试。光场图像具有空间和角度维度，因此如何有效地利用这些互补的角度信息成为光场图像超分辨率的主要挑战。

特点

NTIRE-2023 数据集的特点在于其多样性、真实性和挑战性。数据集包含 16 个由 3DS MAX 软件渲染的合成场景和 16 个由 Lytro Illum 相机捕获的真实世界图像，具有 5x5 的角度分辨率。该数据集旨在为光场图像超分辨率研究提供一个新的基准，并突出特定的挑战和研究问题。

使用方法

NTIRE-2023 数据集的使用方法包括下载训练集、验证集和测试集，并使用深度学习技术训练和测试光场图像超分辨率模型。参与者可以使用 BasicLFSR 工具箱来开发新的光场图像超分辨率方法，并通过在线排行榜比较其性能。BasicLFSR 工具箱提供了一个完整的开发流程、集成了多种光场图像超分辨率方法，并提供了公平和全面的基准测试。

背景与挑战

背景概述

光场（Light Field）图像超分辨率（Super-Resolution, SR）技术旨在从低分辨率光场图像中恢复高分辨率图像，以提升图像感知质量和满足下游应用需求。NTIRE-2023 数据集作为 NTIRE 2023 工作坊举办的首次光场图像超分辨率挑战赛的一部分，由 Yingqian Wang、Longguang Wang、Zhengyu Liang、Jungang Yang、Radu Timofte 和 Yulan Guo 等研究人员组织，旨在为光场图像超分辨率领域建立一个新的基准，并突出特定的挑战和研究问题。该数据集的开发旨在推动低层视觉和 3D 视觉交叉领域的研究，并激发光场图像处理领域未来的研究。

当前挑战

NTIRE-2023 数据集面临的挑战主要包括：1) 如何有效地结合空间和角信息；2) 如何处理大量视图之间存在的不同视差；3) 如何在深度神经网络中有效地利用光场图像中丰富的信息。此外，数据集构建过程中也面临挑战，例如：1) 如何选择合适的训练数据集；2) 如何设计有效的数据增强方法；3) 如何设计公平且全面的基准测试。

常用场景

经典使用场景

NTIRE-2023数据集，作为光场图像超分辨率挑战的一部分，为研究人员提供了一个评估和比较光场图像超分辨率方法的基准。该数据集包含了16个合成场景和16个真实世界场景，每个场景都具有5×5的角分辨率。参与者需要使用这些低分辨率光场图像训练他们的模型，并提交超分辨率后的光场图像以进行比较。NTIRE-2023数据集的建立，旨在促进光场图像超分辨率领域的研究，并推动相关技术的发展。

实际应用

NTIRE-2023数据集的实际应用场景包括后摄聚焦、深度感知、虚拟现实和视图渲染等。通过光场图像超分辨率技术，可以恢复高分辨率的光场图像，从而提高图像的感知质量，并为下游应用带来更好的效果。例如，在后摄聚焦应用中，可以通过超分辨率技术恢复高分辨率的光场图像，从而实现更清晰、更精细的焦点调整。在深度感知应用中，超分辨率技术可以帮助提高深度图的分辨率，从而更准确地估计场景的深度信息。在虚拟现实和视图渲染应用中，超分辨率技术可以提高光场图像的分辨率，从而提供更逼真的虚拟现实体验和更高质量的视图渲染效果。

衍生相关工作

NTIRE-2023数据集的建立，衍生了许多相关的经典工作。例如，基于Transformer的光场图像超分辨率方法EPIT，该模型利用Transformer网络强大的特征提取能力，实现了光场图像超分辨率任务。此外，基于CNN的光场图像超分辨率方法DistgSSR，该模型通过空间-角解耦机制，有效地提取了光场图像中的空间和角信息，并取得了优异的超分辨率性能。这些经典工作为光场图像超分辨率领域的研究提供了重要的参考和启示，并推动了相关技术的发展。