BS-ERGB

最近，使用基于帧和基于事件的摄像机的组合的视频帧插值在性能和存储器效率两方面都优于传统的基于图像的方法。但是，当前的方法仍然存在以下问题 :( i) 互补插值结果的脆弱图像级融合，在融合图像中存在伪影的情况下失败，(ii) 潜在的时间不一致和低有效的运动估计过程 (iii) 不会触发事件的低对比度区域，因此导致仅事件运动估计中的伪像。此外，以前的方法仅在由平面和远处场景组成的数据集上进行了测试，这些数据集无法捕获现实世界的全部复杂性。在这项工作中，我们通过引入多尺度特征级融合来解决上述问题，并计算单发非线性帧间运动图像变形可以有效地从事件和图像中采样。我们还收集了第一个大规模事件和帧数据集，其中包含使用基于分束器的新实验设置捕获的深度变化的100多个具有挑战性的场景。我们表明，我们的方法通过0.2 PSNR的dB和LPIPS得分的15% 来提高重建质量。使用基于分束器的新实验装置捕获。我们表明，我们的方法通过0.2 PSNR的dB和LPIPS得分的15% 来提高重建质量。使用基于分束器的新实验装置捕获。我们表明，我们的方法通过0.2 PSNR的dB和LPIPS得分的15% 来提高重建质量。