iPhone

我们研究了单眼视频动态视图合成 (DVS) 的最新进展。尽管现有方法已显示出令人印象深刻的结果，但我们显示了实际捕获过程与现有实验协议之间的差异，后者在训练过程中有效地泄漏了多视图信号。我们定义有效的多视图因子 (emf)，以基于相对的相机场景运动来量化输入捕获序列中存在的多视图信号的量。我们引入了两个新的指标: 共同可见性掩蔽的图像指标和对应精度，它们克服了现有协议中的问题。我们还提出了一个新的iPhone数据集，其中包括更多样化的现实生活变形序列。

We investigate the recent advancements in monocular video dynamic view synthesis (DVS). While existing methods have demonstrated impressive results, we reveal discrepancies between real-world capture processes and prevailing experimental protocols, which effectively leak multi-view signals during training. We define the Effective Multi-view Factor (emf) to quantify the amount of multi-view signal present in the input capture sequence based on relative camera-scene motion. We introduce two novel metrics: common-visibility masked image metrics and correspondence accuracy, which address the flaws in existing protocols. We additionally propose a new iPhone dataset that encompasses a more diverse set of real-world deformation sequences.

搜集汇总

背景与挑战

背景概述

iPhone数据集是一个用于单眼视频动态视图合成研究的数据集，由University of California, Berkeley于2022年发布，大小为81.5GB。该数据集旨在解决现有方法在训练中多视图信号泄漏的问题，引入了新的评估指标，并包含更多样化的现实生活变形序列，以提升动态视图合成的真实性和应用范围。