ReWiTe

arXiv2024-04-30 更新2024-08-06 收录

下载链接：

http://arxiv.org/abs/2404.10584v2

下载链接

链接失效反馈

官方服务：

资源简介：

ReWiTe数据集是由一组研究者创建的，旨在解决真实世界中宽角和长焦双摄像头图像融合的问题。该数据集包含342组真实的输入长焦图像、宽角图像和地面实况图像，用于训练和测试。创建过程中，研究者使用了一种基于分束器摄像机装置的硬件设计，确保了输入的宽角图像和地面实况图像共享同一光学路径，从而保证了地面实况图像的质量与输入长焦图像相当。该数据集的应用领域主要集中在智能手机摄像头的图像融合和增强技术上，旨在提升图像融合的准确性和质量。

The ReWiTe dataset was developed by a team of researchers to address the real-world dual-camera image fusion problem involving wide-angle and telephoto lenses. This dataset contains 342 sets of real-world input telephoto images, wide-angle images, and ground-truth images for training and testing purposes. During its development, the researchers adopted a hardware design based on a beam-splitter camera setup, which ensures that the input wide-angle images and ground-truth images share the same optical path, thus ensuring that the quality of the ground-truth images is comparable to that of the input telephoto images. The primary application domains of this dataset focus on image fusion and enhancement technologies for smartphone cameras, with the goal of improving the accuracy and quality of image fusion results.

提供机构：

未提及

创建时间：

2024-04-16

搜集汇总

数据集介绍

构建方式

在双摄像头图像融合领域，现有数据集多采用合成方式构建，其真实性与实际成像存在差距。ReWiTe数据集通过创新的硬件设计解决了这一问题，采用分束器相机装置，利用两部配备广角和长焦双摄像头的智能手机同步采集图像。具体而言，第二部手机的广角和长焦摄像头分别捕获输入图像对，而第一部手机的长焦摄像头经过校准，使其光路与第二部手机的广角摄像头一致，从而捕获与输入长焦图像质量相当的真实地面真值图像。整个构建过程包括硬件对齐、尺度与色彩校准以及人工标注，确保了数据的高度真实性和精确对齐。

特点

ReWiTe数据集的核心特点在于其完全真实的图像来源，所有输入图像和地面真值图像均由真实摄像头捕获，避免了人工合成带来的失真。数据集中的地面真值图像与输入长焦图像共享相同的高质量特性，同时与输入广角图像具有一致的光路和视场，为每个像素提供了精确的标注。此外，数据集包含342组图像，覆盖丰富场景，分辨率统一为3496×2472，确保了数据的一致性和实用性。这些特征使得ReWiTe能够有效模拟真实双摄像头系统的成像差异，为模型训练提供了可靠的监督信号。

使用方法

ReWiTe数据集主要用于训练和评估广角与长焦双摄像头图像融合算法。在使用时，研究人员可将输入广角和长焦图像作为模型输入，地面真值图像作为训练目标，进行有监督学习。由于数据集图像分辨率一致，无需额外上采样，可直接应用于现有融合框架。对于默认包含上采样的算法，可通过下采样输入广角图像适配其流程。数据集支持多种方法验证，包括双摄像头融合、参考超分辨率和单图像超分辨率算法，通过定量指标（如PSNR/SSIM）和定性分析评估性能提升。

背景与挑战

背景概述

随着智能手机中广角与长焦双摄像头系统的普及，融合两者图像以同时获得宽视场与高清画质成为计算机视觉领域的热点问题。2024年，由Chunli Peng、Xuan Dong等研究人员提出的ReWiTe数据集，通过创新性地采用分光棱镜相机架构建，首次提供了完全由真实相机捕获的广角、长焦输入对及高质量地面真值图像。该数据集的核心研究在于解决现有合成数据集中地面真值质量低于长焦输入、以及广角输入由人工退化合成导致的模型训练偏差问题，从而为双摄像头图像融合任务提供了更贴近实际成像场景的监督数据，显著提升了多种先进方法的性能。

当前挑战

在双摄像头图像融合领域，核心挑战在于如何有效利用长焦图像的高清细节来增强广角图像的画质，同时保持宽视场的完整性。现有方法常因合成数据集中地面真值质量不足或退化失真不真实而难以优化模型。ReWiTe数据集的构建过程亦面临多重挑战：首先，硬件设计需确保三台相机光学路径精确对齐，通过分光棱镜实现广角输入与地面真值共享同一光路，涉及复杂的六自由度校准；其次，图像后处理需进行尺度与色彩对齐，以消除视场与色调差异，并需人工标注校正运动物体或校准误差区域，确保数据标注的精确性。

常用场景

经典使用场景

在计算摄影与计算机视觉领域，广角与长焦双摄像头融合技术旨在生成兼具宽广视野与高清画质的图像。ReWiTe数据集通过分光镜相机装置同步采集真实广角、长焦及对应的高质量地面真值图像，为这一任务提供了首个完全真实的训练与评估基准。该数据集最经典的使用场景在于支撑监督式深度学习模型的训练，使模型能够学习如何有效整合广角图像的宽阔视野与长焦图像的精细细节，从而生成视觉质量卓越的融合结果。

衍生相关工作

ReWiTe数据集的建立，直接推动并优化了多个相关领域的研究工作。在双摄像头图像融合方面，诸如DCSR、SelfDZSR、ZeDUSR等算法通过在ReWiTe上重新训练，性能获得了显著提升。同时，它也促进了参考式超分辨率算法（如C2-Matching、MASA、TTSR）在此特定任务上的适应性研究，尽管这些方法的设计初衷略有不同。数据集的出现进一步激发了对于真实世界成像数据构建方法论的探讨，并为后续可能出现的、专注于异质摄像头融合的自我监督或无监督学习新范式提供了高质量的评估基础。

数据集最近研究