基于注意力机制的单图像去雨算法研究

来源 :福建师范大学 | 被引量 : 0次 | 上传用户:liu716313
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习的快速发展,计算机视觉系统得到了广泛的应用,例如无人机航拍、视频监控、户外体育直播以及充满潜力的无人驾驶系统。但是在恶劣的气候下,尤其是自然界最常见的雨天,由于雨水条纹的影响,导致成像系统捕获到的图像质量大大降低,这往往造成计算机视觉算法产生严重的错误。因此,图像去雨技术逐渐成为研究的热点,开发出高效的自动去雨算法具有重要理论价值与实际应用价值。考虑到注意力机制可以在卷积神经网络中自适应地激励需要的特征并抑制不需要的特征,本文将其应用到图像去雨中,让网络模型专注于学习雨图中雨条纹的结构而对背景图的内容进行抑制,从而提高图像去雨的性能。具体研究成果和内容总结如下:1、提出了一种基于注意力残差网络的图像去雨算法。以残差网络为基准模型,在此基础上引入CBAM注意力模块,该注意力模块首先在通道维度上调整每个通道的权重,然后在特征图空间维度上调整每个位置的响应强度,这可以大大增强网络的表示能力。2、提出一种双注意力网络的图像去雨算法。首先设计了双注意力模块DAB,在通道维度上每个通道学习出代表雨条纹强度的常数,再将其加在原始特征图上;由于雨条纹不是铺满在整个图像空间的,再通过空间维度来微调特征图空间每个位置的像素值。将DAB和残差模块结合成Res-DAB,此外还提出了残差稠密模块RDB和多尺度特征聚合模块MAM,通过堆叠三个模块形成了双注意力网络。3、在双注意力网络的基础上,提出一种多阶段(两阶段)双注意力网络的图像去雨算法。在获得初级雨条纹后,将其与雨图拼接,然后用逐像素相加的方式将两阶段的浅层特征图进行了融合,强化了网络在有雨的位置的响应,提高去雨性能。在Rain100L和Rain100H数据集上的大量实验,证明了本文所提方法的有效性,可以使图像去雨性能在评价指标PSNR和SSIM上得到显著提升,在去雨的视觉效果上,恢复的图像有更清晰的纹理细节,与其它方法相比去雨效果得到增强,为户外计算机视觉系统(如无人驾驶、目标检测、视频监控等)在雨天的稳定运行提供了有力的保障。
其他文献
在全球范围内,乳腺癌每年新发病例达到120万,并有超过50万的乳腺癌患者死亡,该疾病严重危害着女性的生命健康和生活质量。近年来,由于环境污染、不规律的生活作息和不良的生活习惯、工作压力等因素的影响,检测出乳腺癌的人数逐年攀升。乳腺浸润性小叶癌是临床上最多见的特殊类型浸润性癌,在浸润性乳腺癌中占比5%-15%。为降低乳腺癌死亡率、延长病人生存期并改善病人的生活质量,应提高乳腺癌的早期诊断水平,才能做
近年来,随着工业化的脚步逐渐加快,光学仪器的使用变得更加广泛、频繁,提升光学元件的面形检测技术变得尤为重要。光学元件是光学系统的重要组成单元,在传统的检测工艺中,面形检测方案一般基于人工接触测量的方式对光学零件进行检测,需要用待测的光学零件与样本零件进行接触式比较才能进行测量、比对,因此,传统的面形检测方案容易对光学零件的面形、光洁度造成一定程度的损伤。伴随着时代进步,在硬件方面,由于光学仪器快速
血管靶向光动力疗法(Vascular Targeted Photodynamic Therapy,V-PDT)是一种通过光动力反应,选择性封闭病变血管实现靶向治疗的新型疗法,在临床中已经获得广泛应用。为了有效评估V-PDT疗效并及时调整V-PDT治疗剂量,需要对V-PDT治疗过程中各个V-PDT关键参量的变化进行实时监测。光学相干层析成像(Optical Coherence Tomography,
声光可调谐滤波器(AOTF)是一种新型的电调谐分光器件,其组件全固体,无活动机械部件,体积小,调谐速度快,且具有较高的光谱分辨率以及空间分辨率,这些特性使得AOTF在生物医学光谱成像领域有着广阔的发展前景;近年来,随着各类生物医学成像技术的快速发展,以AOTF为核心部件的超光谱成像系统开始崭露头角。然而现有的较为成熟的AOTF分光超光谱成像系统大部分都是结合大型显微镜等设备而设计,其体积比较庞大,
图像在如今数字信息化发展迅速和多媒体技术日益更新的时代,已经成为人们信息传递和情感交流的一种重要媒介。但图像在捕获时,图像视觉效果通常与光照条件,环境动态范围和图像捕获设备等因素有关,从而影响人和机器的图像识别分析,因此低光照图像增强技术的发展在实际应用中富含重要的意义。本文主要开展了基于多光子图像的低亮度增强方法与基于自然图像的多重曝光融合算法。首先,针对多光子图像,提出一种基于改进的卡方分布函
随着工业4.0、中国智造等概念的提出,机器视觉被应用在越来越多的行业领域,机器视觉镜头作为机器视觉成像系统中的核心元件之一,其成像的质量好坏影响着相关检测的速度和准确度。而目前的机器视觉镜头中,远心镜头由于其放大倍数恒定、无视差、高分辨率、低畸变等优点被越来越多的应用。本文为满足这一方面的市场需求,查阅相关资料研究了远心镜头的相关成像原理及远心系统的分类等,发现目前对于物方单远心或像方单远心镜头的
在如今这样一个信息时代,由于人们对更加安全可靠的身份识别的需要日益增加,以生物特征识别技术研发生产的识别设备已经投入到社会各界使用。其中静脉识别技术是生物特征识别技术的一种,由于手掌静脉特征稳定、独特以及不易被盗取的特点,而且相较于指静脉与手背静脉,其结构更丰富。因此,手掌静脉识别技术在社会各个领域都有广大的应用价值。在前端获取掌静脉图像的过程中,由于外部因素(如采集设备限制、周围采集环境的影响)
现实世界中摄像头无处不在,对人类而言是不可或缺的器备。人类对其做了大量的研究:光学镜片、传感器构造、图像采集电路及图像处理算法等等,本课题所研究的是图像处理中的四带图像颜色校正。当镜头中加入IR-CUT的红外截止滤光片时,通用RGB传感器只能接收RGB光源,所采集的图像本课题称之为三带图像;当移除IR-CUT的红外截止滤光片时,通用RGB传感器能接收到RGB以及IR光源,所采集的图像本课题称之为四
随着智能时代的到来,与人工智能(Artificial Intelligence,AI)相关的计算机视觉技术得以蓬勃的发展,特别是目标检测与识别的研究和应用广泛运用于各个场景,如人脸支付、安防监控、无人驾驶以及“天眼”系统等等。同时伴随着5G商用元年的开启,让万物互联(Io T)与5G成为了一个不可分割的整体,其中边缘计算就是Io T技术发展中的重要一环,即在网络边缘测的智能网关上就近处理采集到的数
为了降低视频目标追踪场景中的干扰问题对算法精度产生的不利影响,本文基于光照变化、相似物干扰、外观变形、运动模糊、快速移动、背景模糊和遮挡等干扰场景下进行运动目标追踪算法研究。目前目标追踪领域算法主要分成判别法的孪生网络和生成法的相关滤波,故本文采用深度学习的孪生神经网络算法进行目标追踪的研究,并基于Siamese-FC经典孪生网络结构进行改进。本文中将Siamese-FC中间特征提取层拓展为DRe