论文部分内容阅读
图像盲去运动模糊算法即是在模糊核未知的情况下对图像进行去模糊处理。传统的去模糊算法一般都是通过对模糊核进行预测而后与模糊图像进行反卷积最终得到清晰图像,但是这种方法存在泛化性不足以及对噪声敏感使得重建图像出现严重的振铃效应等问题。与深度学习结合的图像去模糊方法起初也只是用来对模糊核进行估计,这种方法同样具有上述问题,而后随着编码器解码器结构的提出,出现了从模糊图像直接拟合清晰图像的深度学习网络。但是此类方法依然存在模型泛化性不够,图像重建细节信息处理不好的问题。所以对此本文转换思路,将图像去模糊问题转换为图像翻译问题,使其变为从模糊图像域转换为清晰图像域的问题。此方法由于拟合的是清晰图像数据分布,所以能够获得更好的网络泛化性与重建性能。由于模糊图像中通常具有不同尺度的物体,所以如何兼顾大尺度信息与小尺度细节信息成为了问题的关键。考虑到以上问题,本文提出了一种基于多尺度残差生成对抗网络的图像去模糊方法。首先,本文提出了一种新的残差网络结构——细粒度残差模块,以此能够在参数不变的情况下同时兼顾融合大尺度信息与小尺度信息,从而提升模糊图像重建的质量,保留其细节纹理信息。其次本文使用条件生成对抗网络作为图像翻译的基本结构结合了对抗损失和感知内容损失来更好的保证重建图像的内容一致性以及提升重建效果,最后本文采用了最近邻插值结合转置卷积的方法来对图像进行上采样从而最大程度上避免出现棋盘效应。实验表明本文提出的方法在公开数据集上比现有的图像去模糊方法表现更好。改进后的去模糊算法虽然有一定的进步,但是依然具有参数量大实时性不高以及重建图像在有些场景下效果不好,模型泛化性不够等问题,因此本文在上述方法的基础上又进行了改进,提出了基于双判别器的生成对抗网络去模糊方法,主要贡献有1)改进了特征提取阶段卷积核的实现方法,对原始卷积核进行低秩分解为全局卷积,使得网络能够增大感受野的同时减少参数;2)采用双判别器结构来约束生成网络一个判别器更关注生成图片数据分布,另一个判别器更关注真实清晰图片数据分布,以此能够提升网络的泛化性以及重建图片的视觉效果。实验证明改进后的网络在主观视觉效果以及客观评价指标上有了进一步的提升。