66 / 2022-09-30 10:51:42

基于时空间的视频去反光方法

目的 视频中的反光是指在玻璃等反光表面后拍摄视频时经常出现的障碍，反光的画面会降低视频的质量，进而给许多计算机视觉算法的研究带来一些挑战，降低传统算法的准确性。目前视频反光去除的研究相对来说比较少，并且大部分研究还是停留在对单幅画面反光的去除。如果简单的扩展到视频时，会产生伪影，例如产生闪烁和不完全分离。因此，对视频去反光的研究还是非常具有现实意义。方法 本文提出了一个全新的视频去反光的方法，很好的利用了视频帧之间的时空间信息，引入了自注意力机制和视频帧对齐。方法主要涉及特征提取器、基于Transformer视频帧对齐模块、VGG网络模块、反光去除模块和重建模块组成。结果 本文详细阐述了所提方法，并与相关最新的方法进行了比较，实验采用了两个大型视频数据集上与目前仅有的两个方法进行了比较，实验结果表明了本文方法是有效性并且在性能方面具有优势。在数值上已经超越了最新的方法，其中在vimeo90K数据集中的NCC和SSIM分别提升了18.29%和15.05%。结论 本文提出了一种基于时空间特征信息视频去反光的方法来从视频中去除那些影响人们的视觉感受的内容。本方法的主要任务是复原视频帧背景层的信息，克服了与最先进的反光去除方法相关的局限性，使实验效果更加明显。