GoPro Random Sharp (GoProRS)

GoProRS数据集是由哈尔滨工程大学智能系统科学与工程学院、卡利亚里大学和圣安娜高等研究学院联合创建的视频去模糊数据集。该数据集基于GoPro数据集生成，包含33个视频序列，每个序列中的清晰帧比例可由用户自定义，从而增强了模型的泛化能力。数据集通过高帧率摄像机捕捉的1280×720分辨率视频生成，帧率为250fps。GoProRS的创建旨在解决现有数据集中清晰帧比例固定的问题，使其更适用于真实世界的动态模糊场景。该数据集广泛应用于视频去模糊领域，旨在提升自动驾驶、面部识别和安防监控等应用的视频质量。The GoProRS dataset is a video deblurring dataset jointly created by the School of Intelligent Systems Science and Engineering of Harbin Engineering University, the University of Cagliari and Scuola Superiore Sant'Anna. Constructed based on the GoPro dataset, it contains 33 video sequences, where the ratio of sharp frames in each sequence can be customized by users, thus enhancing the generalization ability of models. The dataset is generated from videos captured by high-frame-rate cameras at a resolution of 1280×720, with a frame rate of 250 fps. The GoProRS dataset was developed to address the issue of fixed sharp frame ratio in existing datasets, making it more applicable to real-world dynamic blurring scenarios. This dataset is widely used in the field of video deblurring, aiming to improve the video quality of applications such as autonomous driving, facial recognition and security monitoring.

搜集汇总

数据集介绍

构建方式

GoPro Random Sharp (GoProRS) 数据集的构建基于 GoPro Original (GoProO) 数据集，通过随机选择视频序列中的帧进行平均，以生成模糊的视频序列。GoProRS 数据集允许用户定义清晰帧在序列中出现的概率，从而实现清晰帧与模糊帧的比率定制。这使得数据集更加符合现实场景，提高了模型在不同模糊条件下的泛化能力。

特点

GoProRS 数据集的主要特点是清晰帧出现的概率可由用户自定义，从而提供了更加多样化的训练和测试场景。此外，该数据集还包含了清晰帧的标签，有助于模型学习并利用清晰帧的信息来提高视频去模糊的效果。GoProRS 数据集的构建方式使其更贴近现实场景，有助于提高模型在不同模糊条件下的适应性和性能。

使用方法

使用 GoProRS 数据集进行视频去模糊模型训练时，首先需要定义清晰帧在序列中出现的概率，然后使用该数据集进行模型训练。在模型训练过程中，可以利用清晰帧的标签来指导模型学习并利用清晰帧的信息。此外，GoProRS 数据集还可以用于测试和评估视频去模糊模型的性能，以验证模型在不同模糊条件下的泛化能力和性能。

背景与挑战

背景概述

随着技术的不断发展和社交媒体的普及，使用智能手机、运动相机和无人机等手持和空中设备进行视频录制变得越来越流行。然而，快速的光照变化、相机抖动、快速的对象运动和深度变化往往会导致视频模糊，这不仅影响视觉质量，还可能妨碍其他下游视觉任务，如跟踪和视频异常检测。尽管专用硬件，如事件相机，可能有益，但它代表了一种昂贵且部分的解决方案，并不总是适用于流行设备。因此，开发有效的视频去模糊算法在过去几十年中一直被积极研究，并仍然是一个热门的研究课题。为了从模糊视频中恢复清晰的帧，传统方法通常使用光流来估计模糊核，并通过去卷积恢复模糊序列，这通常会导致伪影和较差的结果。随着人工智能的进步，基于深度学习的视频去模糊方法取得了显著的成功。为了获得更好的性能，其他工作专注于连续非均匀模糊视频帧的时空依赖性。例如，Wang等人提出了Spatio-Temporal Pyramid Network (SPN)，它可以动态地学习不同的时空依赖性，而Zhu等人使用时间光谱能量作为全局清晰度指南，以解决由于模糊导致的局部特征丢失的问题。此外，Lin等人以及Kim等人将事件相机生成的活动灰度像素整合进来，以进一步提高结果的质量。最近，一些研究观察到，模糊视频中的所有帧实际上并不都是模糊的，偶尔会出现一些清晰的帧。基于这一观察，先前的研究建议，一旦识别出这些清晰的帧，就可以利用它们提取更精细和更精确的时空信息，从而增强去模糊过程。例如，Pan等人提出了一种卷积神经网络（CNN），该网络包含一个时间清晰度先验模块，用于利用清晰帧的信息来恢复模糊帧。类似地，Xiang等人利用清晰帧的特征来估计与视频运动流相关的时空信息，以指导网络恢复模糊图像。除了上述技术外，一些新的特定数据集也引起了越来越多的关注，这些数据集将清晰帧的部分整合进来，例如GoProS数据集。然而，在这些数据集中，清晰帧是按照一个始终被限制在50%的概率添加到序列中的，导致清晰与模糊帧的比例固定。这种限制使得这些数据集不适合于清晰和模糊帧发生动态变化的视频，从而显著限制了它们在实际场景中的应用。

当前挑战

为了克服这些问题，本文介绍了一个新的数据集GoProRS，其中清晰帧的发生概率由用户定义，从而可以实现清晰和模糊帧的期望比例。这种设置有助于训练的模型在多种模糊条件下进行泛化。然后，为了评估数据集的好处并推动去模糊领域的最新进展，本文提出了一种名为Sharpness Prior Detection and Edge Information Network (SPEINet)的新型视频去模糊方法。SPEINet模型将正则化边缘强调整合到模糊帧的边缘映射能力中，并包括一个轻量级的清晰帧检测器，该检测器基于六个计算效率高的经典度量，这些度量通常用于自动对焦，避免了依赖于较慢的专用神经网络。最后，其基于注意力的编码器-解码器架构有效地整合了清晰帧信息和边缘增强特征，以重建模糊视频帧。特别是，编码器使用注意力机制从清晰和模糊帧中提取深度特征，而自转移和交叉转移模块将关键像素细节转移到解码器中，以帮助恢复和重建模糊帧。总的来说，本文提供了以下主要贡献：1) 提出了一个名为GoProRS的新型视频去模糊数据集，其中清晰帧的发生概率由用户定义，从而增强了模型的泛化能力。2) 提出了SPEINet模型，用于视频去模糊，该模型利用清晰帧中的关键像素信息来指导相邻模糊帧的恢复和重建。该模型集成了边缘强调算法和轻量级的清晰帧检测器，并与自定义设计的基于注意力的编码器-解码器架构集成。3) 进行了大量实验，以评估SPEINet在四个数据集上的性能，证明了所提出方法的有效性和GoProRS数据集的好处。所取得的结果表明，SPEINet在多个数据集上优于最先进的方法，平均PSNR提高了+3.2%。鉴于这些有希望的结果，我们相信，所提出的模型和数据集为基于清晰帧检测的未来视频去模糊研究铺平了道路。

常用场景

经典使用场景

GoPro Random Sharp (GoProRS) 数据集被广泛应用于视频去模糊领域，特别是在自动驾驶、人脸识别和安全监控等场景中。该数据集通过引入可定制的清晰帧频率，使得模型能够在更多样化的训练和测试场景下进行训练，从而提高了模型的泛化能力。SPEINet 模型利用清晰帧的特征来重建模糊帧，并通过基于注意力的编码器-解码器架构、轻量级的清晰帧检测和边缘提取阶段，实现了视频去模糊的高效性和准确性。

实际应用

GoProRS 数据集在实际应用中具有广泛的应用场景，如自动驾驶、人脸识别和安全监控等。该数据集通过引入可定制的清晰帧频率，使得模型能够在更多样化的训练和测试场景下进行训练，从而提高了模型的泛化能力。SPEINet 模型利用清晰帧的特征来重建模糊帧，并通过基于注意力的编码器-解码器架构、轻量级的清晰帧检测和边缘提取阶段，实现了视频去模糊的高效性和准确性。此外，GoProRS 数据集的提出还促进了基于清晰帧检测的视频去模糊技术的发展。

衍生相关工作

GoProRS 数据集的提出促进了基于清晰帧检测的视频去模糊技术的发展。SPEINet 模型是该数据集上的一种新的视频去模糊方法，它利用清晰帧的特征来重建模糊帧，并通过基于注意力的编码器-解码器架构、轻量级的清晰帧检测和边缘提取阶段，实现了视频去模糊的高效性和准确性。此外，GoProRS 数据集的提出还促进了基于清晰帧检测的视频去模糊技术的发展。