基于分组和深度可分离卷积的轻量级卷积神经网络

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:zjyeling
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网络近年来成为了解决各类视觉任务的主流选择,包括图像分类,检测跟踪,动作及意图识别等领域。卷积神经网络由一系列卷积层层堆叠构成,而传统卷积层存在着参数量和计算量大的问题,同时网络深度和宽度的提升进一步加剧参数量和计算量的问题,使得这些网络模型往往无法顺利进行移动端部署。因此设计高效的卷积神经网络具有重大的学术及工程价值。针对以上问题,本文提出了一种高效的分组卷积单元,并提出了一种基于深度可分离卷积的多尺度卷积模块。主要的研究内容和成果如下:1.通过对常用卷积方式的原理梳理,并分析对比了它们的复杂度,分组卷积作为现今轻量级卷积神经网络常用的卷积结构,既拥有大量减少参数量和计算量的能力,又拥有超过深度可分离卷积的特征生成效果。针对分组卷积方式,我们提出了基于分组卷积的高效卷积结构Fuse Conv系列,在CIFAR-10和CIFAR-100数据集上的实验以及与常用的网络剪枝算法的对比,证明了该系列高效卷积结构的可行性和有效性。2.现有的轻量级网络大多摒弃了传统卷积而使用深度可分离卷积,不可避免地存在着特征提取单一的问题,使得网络对于如目标检测,超分辨率等任务而言并不友好。受多尺度卷积特征融合的启发,我们提出了一种以深度可分离卷积为基础的基于多尺度特征的卷积模块DF(Depthwise Fuse)模块,详细说明了该模块的具体结构,并以此模块构建了DFNet网络模型。通过在CIFAR-10和CIFAR-100数据集上的实验说明了所提模块和网络的有效性,同时设置了两组消融实验以更好地理解该模块。通过在BSD数据集上的实验说明了DF模块可有效嵌入其他任务中。3.网络模型的深度和宽度对于模型的特征拟合能力有着至关重要的作用,而基于深度可分离卷积的卷积模块和对应网络中,少有具体深入探究模块结构,网络深度和宽度的影响。受此启示,我们比较了多种基于深度可分离卷积的卷积模块,通过基于CIFAR-10数据集的实验结果说明了这些模块的性能,并借助这些结果提出了性能更强的卷积模块,以此卷积模块构建了全新的轻量级卷积神经网络DBN(Deep Bottleneck Network)。通过设置不同的深度和宽度参数的实验,根据实验中网络的性能确定了最佳的深度和宽度,同时为进一步提升网络模型性能,在网络中嵌入了通道注意力模块,实现了在CIFAR-10数据集上更佳的效果。在CIFAR-100数据集上与常用的一些网络结构进行了对比,所提网络取得了不错的性能。
其他文献
当下,网络短视频、电商广告、新闻资讯等信息量迅猛增长,如何构建更精准、更个性化的推荐系统已成为各大电商平台、音视频门户网站关注的焦点。而推荐系统中最核心的部分在于其使用的推荐算法,算法的优劣直接影响推荐系统的好坏。虽然诸如协同过滤等传统推荐算法已经历了多年的发展,但面对当前越来越多的稀疏性与冷启动问题时,其较难以从根本上解决。而另一方面,由于近年来图神经网络的发展以及其与推荐系统交互图结构的高度契
基于位置服务(Location Based Services,LBS)在无人驾驶、智能交通、应急救援以及智慧城市等领域上发挥着十分重要的作用。对于室外环境,美国的GPS系统、欧洲的伽利略系统以及中国的北斗卫星系统已经可以提供很好的位置信息,由于卫星信号容易受到建筑物遮挡,这些成熟的定位系统在室内环境的定位性能不是十分理想。随着社会的发展,人们对室内定位的需求也日益增多,定位方案也从单一定位技术逐渐
近年来,电网事故在我国各个地区相继发生,这不仅会扰乱人们的正常生活,还会给国家经济带来不可估量的损失。为了减少电网事故的发生,需要对输电线运行状态进行有效监测。基于随机光纤激光器的点式光纤传感系统具有抗电磁干扰、信噪比高、长距离传感等优势,极其适合应用于电网系统中。然而,随着国家电网规模的扩张,如何进一步提升点式光纤传感系统的性能是今后需要解决的问题。本文在特种传感光纤光缆联合实验室的支持下将一种
声波是信息的重要载体,声波传感技术在石油管道泄漏、设备健康监测、医疗诊断等各个领域有巨大的应用需求。传统的声波传感器多为电子式声波传感器,而随着对光纤传感技术研究的深入,各种光纤声波传感器得到了快速发展。同电子式声波传感器相比,光纤声波传感器体积小、重量轻、检测灵敏度高、抗电磁干扰能力强,能够在极端恶劣环境下使用,并且,光纤较小的传输损耗使得光纤声波传感器能够实现高质量的遥测遥感。近年来,各种原理
现如今的移动设备端产生的应用日渐复杂,需要更强的计算能力来处理,移动边缘计算(MEC)为处理这种任务提供了有效的途径。在移动边缘计算中的任务的卸载和资源的分配问题一直是其中的关键问题。若能实时地做出正确的计算任务卸载决策,合理分配好网络资源和计算资源,对于提升移动边缘计算的服务性能,提高用户体验具有重要的意义。近几年来,强化学习技术不断发展,它在MEC中的应用备受关注。由于MEC场景下环境的不确定
随着互联网技术的飞速发展,人类社会积累了大量的理论知识与实践经验。知识图谱以其高度凝练的语义网络结构,成为一种高效的知识表示手段。知识图谱为人们生活中的多个领域提供便利,包括搜索引擎、问答系统、医疗诊断等等。虽然知识图谱规模以指数级的速度增长,但仍然存在稀疏性与不完整性的问题,如何有效挖掘知识图谱的隐藏语义,推理出潜在事实是一个亟须解决的问题。目前深度学习在自然语言领域取得了突破性的进展,尤其在知
混沌保密光通信依靠复杂的混沌信号实现对传输消息的隐藏和加密,具有良好的加密效果,在保密通信领域中发展前景广阔。其中,外腔反馈半导体激光器凭借其结构简单的优势在混沌光通信中有着重要的应用。但是由于需要发送端和接收端拥有一样参数的激光器,才可以实现高质量的混沌同步,而在实际中,很难找到多个参数完全一致的激光器,这限制了其进一步发展。近些年来,得益于计算机算力的快速提升和新算法的提出,神经网络得到了快速
信号调制作为当下通信过程中必不可少的一环,一直对整个通信系统整体性能以及传输能力产生着极大的影响,而随着现代无线通信技术的发展,调制信号的种类和方式也在不断变多,通信环境中调制信号的区分也变得愈发困难。因而调制识别这种对未知调制信号进行调制种类判断和分类的方法,在电子侦察、电子对抗、频谱检测等多种非合作通信场景下的接收机设计中都有着极大的研究意义,影响着后续通信信号的解调以及通信参数提取的实际性能
近年来,自主移动机器人发展迅速,影响着社会生产生活的各方各面并在其中发挥着愈发重要的作用。基于视觉的同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)技术是自主移动机器人的核心技术,其中的闭环检测(Loop Closure Detection,LCD)环节通过辨别移动机器人是否已访问过当前位置辅助构建全局一致的地图。然而,在实际应用中,光照、
随着智能电子产品中的印刷电路板(Printed Circuit Board,PCB)越来越趋向于小型化,且板上元件密度也越来越大,从而导致PCB布线工作也变得越来越复杂。但是当前电子设计自动化(Electronic Design Automation,EDA)工具内置的自动布线功能布线速度慢且布通率低,当前PCB布线工作仍然主要依赖于人工,从而使得在工业PCB设计过程中仍需要消耗大量的人力资源。因