dual-camera dataset

该数据集是由华中科技大学图像处理与智能控制教育部重点实验室和新加坡南洋理工大学的研究人员收集的，包含7个场景的多视图图像。每个场景的每个视图都有主摄像头和超广角摄像头捕获的图像对，以及通过多焦点图像融合方法合成的全聚焦图像作为地面真实值。数据集用于训练神经辐射场模型，以实现从具有一致脱焦模糊的输入中合成全聚焦新视图。

This dataset was collected by researchers from the Key Laboratory of Image Processing and Intelligent Control of the Ministry of Education, Huazhong University of Science and Technology, and Nanyang Technological University, Singapore. It contains multi-view images across 7 distinct scenes. For each view within every scene, paired images captured by a main camera and an ultra-wide-angle camera are provided, alongside fully focused images synthesized via multi-focus image fusion algorithms as the ground truth. This dataset is designed for training Neural Radiance Fields (NeRF) models to synthesize fully focused novel views from input images with consistent defocus blur.

搜集汇总

数据集介绍

构建方式

在智能手机摄影领域，双摄像头系统因其互补特性为全焦点神经辐射场（NeRF）合成提供了新的可能性。该数据集通过iPhone 14 Pro的双摄像头系统采集，每个场景包含24个视角，每个视角由主摄像头（高分辨率浅景深）和超广角摄像头（宽景深）同步捕获的三联图像组成。主摄像头通过焦点堆栈技术拍摄前景与背景对焦的两张图像，超广角摄像头则提供全局清晰参考。通过光流对齐和直方图匹配解决双摄像头间的空间位移与色彩差异，并采用多焦点融合算法生成全焦点真值图像，最终构建包含7个复杂场景的多视角对齐数据集。

特点

该数据集的核心价值在于首次实现了智能手机双摄像头系统与NeRF的协同创新。主摄像头提供高分辨率细节，超广角摄像头扩展有效景深范围，二者互补形成完整的场景表征。数据特点体现在：1) 异构摄像头同步捕获确保时空一致性；2) 焦点堆栈技术覆盖场景多深度平面；3) 精确的空间-色彩对齐消除双摄像头系统差异；4) 包含定量评估所需的真值全焦点图像。特别地，超广角摄像头的宽景深特性为修复主摄像头一致离焦模糊提供了关键参考，突破了传统NeRF对全焦点输入数据的依赖。

使用方法

该数据集主要服务于双摄像头全焦点NeRF合成研究。使用时需分阶段处理：首先通过COLMAP估计相机参数，建立双摄像头的空间对应关系；随后训练两个独立NeRF模型分别学习主摄像头和超广角摄像头的场景表征；继而通过可学习离焦参数预测模块生成离焦图；最终通过混合权重场融合双摄像头信息，实现全焦点新视角合成。数据集支持PSNR、SSIM和LPIPS等指标定量评估，并可用于焦点重定向、分像镜等景深应用开发。值得注意的是，超广角数据需配合置信度掩膜使用，以规避对齐误差区域的干扰。

背景与挑战

背景概述

Dual-Camera数据集由华中科技大学和南洋理工大学的研究团队于2023年提出，旨在解决智能手机摄影中多视角一致散焦模糊的神经辐射场（NeRF）合成难题。该数据集创新性地利用智能手机主摄与超广角镜头的互补特性——主摄提供高分辨率图像但景深浅，超广角镜头则具有深景深但分辨率较低，通过双摄像头协同实现全焦点神经辐射场合成。数据集包含7个真实场景，每个视角采集主摄对焦前景/背景的双图像及超广角图像，并合成全焦点真值图像，为计算摄影领域提供了首个支持多视角一致模糊恢复的基准数据。

当前挑战

该数据集主要面临两大核心挑战：领域问题层面，需突破现有NeRF方法对不一致模糊的依赖，解决智能手机自动对焦导致的多视角一致模糊难题；构建过程层面，需克服双摄像头间的大位移配准难题（空间错位达30%图像宽度）、异构传感器色彩差异（色差ΔE>8），以及超广角镜头畸变（径向畸变系数k1达0.25）带来的几何对齐挑战。此外，主摄浅景深区域（DoF<0.5m）与超广角深景深区域（DoF>5m）的内容融合需精确建模散焦参数，在保持主摄高分辨率细节的同时恢复超广角的清晰背景。

常用场景

经典使用场景

Dual-camera dataset在计算机视觉领域中被广泛应用于神经辐射场（NeRF）的研究，特别是在全焦点神经辐射场（AiF NeRF）的合成中。该数据集通过智能手机的双摄像头系统（主摄像头和超广角摄像头）捕获多视角图像对，解决了传统单摄像头在固定焦点下无法获取全焦点图像的难题。经典使用场景包括从具有一致离焦模糊的输入中恢复全焦点新视角，以及利用双摄像头的互补特性（主摄像头的高分辨率和超广角摄像头的深景深）进行图像对齐与融合。

实际应用

在实际应用中，Dual-camera dataset为智能手机摄影提供了全焦点图像合成的解决方案。通过结合主摄像头的高画质和超广角摄像头的深景深，用户无需手动调焦即可生成清晰的全焦点图像。此外，该技术还可扩展至景深调节应用，如背景虚化（bokeh）和分焦镜（split diopter）效果，为移动端计算摄影提供了新的可能性。

衍生相关工作

基于该数据集衍生的经典工作包括DC-NeRF框架，其首次将双摄像头系统引入AiF NeRF合成，提出了对齐-融合的端到端解决方案。相关研究还推动了离焦去模糊（如EasyAIF、DC2）、多焦点图像融合（如Defocus-NeRF）等领域的发展。此外，数据集启发了对异构摄像头系统（如主摄与长焦组合）在三维重建中的潜力探索。