BS-ERGB

最近，使用基于帧和基于事件的摄像机的组合的视频帧插值在性能和存储器效率两方面都优于传统的基于图像的方法。但是，当前的方法仍然存在以下问题 :( i) 互补插值结果的脆弱图像级融合，在融合图像中存在伪影的情况下失败，(ii) 潜在的时间不一致和低有效的运动估计过程 (iii) 不会触发事件的低对比度区域，因此导致仅事件运动估计中的伪像。此外，以前的方法仅在由平面和远处场景组成的数据集上进行了测试，这些数据集无法捕获现实世界的全部复杂性。在这项工作中，我们通过引入多尺度特征级融合来解决上述问题，并计算单发非线性帧间运动图像变形可以有效地从事件和图像中采样。我们还收集了第一个大规模事件和帧数据集，其中包含使用基于分束器的新实验设置捕获的深度变化的100多个具有挑战性的场景。我们表明，我们的方法通过0.2 PSNR的dB和LPIPS得分的15% 来提高重建质量。使用基于分束器的新实验装置捕获。我们表明，我们的方法通过0.2 PSNR的dB和LPIPS得分的15% 来提高重建质量。使用基于分束器的新实验装置捕获。我们表明，我们的方法通过0.2 PSNR的dB和LPIPS得分的15% 来提高重建质量。

Recently, video frame interpolation using a combination of frame-based and event-based cameras has outperformed traditional image-based methods in terms of both performance and memory efficiency. However, current approaches still suffer from the following limitations: (i) fragile image-level fusion of complementary interpolation results, which fails when artifacts exist in the fused images; (ii) potential temporal inconsistency and inefficient motion estimation pipelines; (iii) low-contrast regions that do not trigger events, thus causing artifacts in event-only motion estimation. Furthermore, prior works have only been evaluated on datasets composed of planar and distant scenes, which fail to capture the full complexity of real-world scenarios. In this work, we address the aforementioned issues by introducing multi-scale feature-level fusion, and computing one-shot non-linear inter-frame motion-based image deformation that enables efficient sampling from both events and images. We additionally curate the first large-scale event and frame dataset, which contains over 100 challenging scenes with varying depth captured using a novel beam-splitter-based experimental setup. We demonstrate that our method improves reconstruction quality by 0.2 dB in PSNR and 15% in LPIPS score.

搜集汇总

背景与挑战

背景概述

BS-ERGB是一个用于视频帧插值的大规模事件和帧数据集，包含100多个具有深度变化的挑战性场景，旨在解决现有方法在图像融合、运动估计和低对比度区域处理方面的不足。该数据集由苏黎世联邦理工学院、苏黎世大学和华为苏黎世研究中心于2022年发布，通过基于分束器的实验设置捕获，以提升重建质量。