基于随机敏感度的深度卷积神经网络剪枝方法

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:zrbgo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度卷积神经网络在图像分类、目标检测、图像分割等领域有广泛应用。然而,深度卷积神经网络的时间和空间开销过大,对硬件环境提出了较高要求,限制了其进一步的推广应用。因此,如何对深度卷积神经网络进行压缩和加速,已成为一个重要的研究方向。其中,剪枝(pruning)由于能够有效地减少模型参数数量、提升模型运行效率而受到重视。剪枝是指通过移除深度卷积神经网络的冗余成分,精简网络,从而达到压缩和加速的目的。在剪枝过程中,如何选择恰当的节点进行删除,以减少剪枝过程对模型性能的损害,是一个重要的问题。现有方法大多采用基于范数的选择策略或人工设计的启发式策略对节点的重要性进行评判和删除。基于范数的策略由于评判标准单一,单纯地通过节点权重的范数大小来评判其重要性,容易忽视权重较小但仍然对模型输出有重要意义的节点。人工设计的启发式策略则往往基于人为的假设,无法准确反映节点对模型输出的意义,难以适用于不同的模型和应用场景。尽管良好的节点选择策略能够减少剪枝过程对模型性能的损害,然而在剪枝过程中,由于节点的大量移除,这种损害仍无法完全避免。因此,需要采用性能恢复方法恢复剪枝后模型的性能。现有的性能恢复方法大多基于微调(fine-tuning),将剪枝后的模型放到训练集上,以较小的学习率进行重训练。然而,直接在剪枝后的模型上进行微调,会受到信息丢失问题的不利影响,导致微调后模型的最终性能不佳。信息丢失是指在剪枝过程中,节点被移除,导致它们在最初训练时学到的信息丢失,无法在剪枝后的微调过程中被利用。本文提出一种基于随机敏感度(stochastic sensitivity)的深度卷积神经网络剪枝方法,用于深度卷积神经网络的压缩与加速。该方法提出了一种基于随机敏感度的节点选择策略,通过给节点权重施加随机扰动,计算敏感度,并将敏感度作为剪枝过程中节点选择的标准。该策略能有效反映节点对权重变化的敏感程度,进而更好地减少剪枝过程带来的模型性能损失。针对模型微调遇到的信息丢失问题,提出一种权重补偿方法,通过权重补偿,重新构建被剪枝层的权重及输出,保留被剪节点的信息,进而改善微调后模型的性能。本文分别在Le Net-5-Modified+MNIST,VGG-16+CIFAR-10,Alex Net+ILSVRC2012三组模型和数据集上进行了实验验证,取得了领先的效果。这证明了本文所述方法的有效性和先进性。
其他文献
超高分子量聚乙烯(ultrahigh-molecular-weight polyethylene,UHMWPE)具有优异的耐磨损性能、抗冲击性能和自润滑性能,其管件、滑轮等中空制件在工业管道运输和轻工机械等行业得到广泛应用。但UHMWPE极长的分子链易造成严重的分子缠结,使得熔体流动性极大降低,几乎没有一般聚合物所表现出的黏流态。使用传统聚合物成型装备加工UHMWPE不仅生产效率低、能耗大,而且制
AB5型储氢合金由于其优越的综合性能被广泛应用于镍氢电池负极材料。随着经济的快速发展,镍氢电池市场对商用AB5型合金成本高和循环寿命及低温性能提出了更高要求。本文以商用合金La0.585Ce0.19Zr0.025Sm0.2Ni4.337Co0.163Mn0.253Al0.350为基础,通过改变合金化学计量比及退火工艺条件优化了合金的电化学性能。首先,本文通过感应熔炼法制备了一批含Sm低Co类过化学
智能汽车的发展对减少交通事故的发生和减小交通事故的伤害具有重要意义。智能汽车在面对复杂的交通环境需要解决的技术难题是环境信息融合感知、主动避撞等技术难题。为智能汽车在复杂的交通环境下识别危险的驾驶场景,提供可行的碰撞预警策略和测试验证场景,进行了自动驾驶汽车测试场景构建、车辆交通环境主要道路使用者目标检测和跟踪以及智能汽车碰撞预警策略的研究,主要工作如下:(1)针对自动驾驶汽车安全性测试验证中海量
四环素是一种常用的医用、兽用抗生素,四环素在水环境中富集会破坏生态环境,诱导抗性基因的产生并危及人体健康。由于水中残留四环素对微生物的胁迫,污水处理系统难以实现水中四环素的高效去除,因此亟需寻求高效、环境友好的四环素降解技术。微生物燃料电池技术(MFC)是一种自产电驱动并富集降解功能菌的系统,故能在共代谢难降解有机物与产电,研究发现MFC对四环素有较好的降解效果。但常规的MFC生物阳极降解四环素具
城市机动化的快速发展,使得停车问题成为了城市交通的通病。城市停车问题不仅仅是由供给不足造成的,很大程度上是由于停车定价政策不合理、不公平导致的。同时,在制定停车定价价格标准时,大中城市普遍实行停车价格管制,这使得停车位资源供需失衡,停车问题难以得到有效解决,甚至影响了城市动态交通系统的运行。此外,网联车的出现,使得不同车流类型的停车需求更加富有弹性变化。因此,科学合理的停车定价,对于引导停车决策,
脂质在生物体中至关重要,但其理化性质多变,且脂质同分异构体具有不同的生理作用。目前脂质分析存在脂质覆盖范围窄和共洗脱严重的问题,脂质同分异构体的分离分析更加困难。本文建立了基于三相萃取(three-phase liquid extraction,3PLE)和分段数据依赖型采集(segment data-dependent acquisition,SDDA)的拟靶脂质组学方法,以及基于微波辅助间氯过
羟基磷灰石(HAp)是骨骼和牙齿的主要无机成分,在骨组织工程中被广泛应用。已有研究证实,小尺寸的纳米HAp能抑制多种肿瘤细胞的增殖,但制备粒径均匀且大小可控的纳米HAp一直是难点。常规方法制备的HAp往往存在粒径大小不可控等问题。模板法因模板剂含有官能团,具有空间限域作用,能实现对材料大小、形貌、结构等的控制,被广泛应用于纳米材料制备。碳点模板法制备HAp是近几年发展起来的新型制备方法。柠檬酸源碳
语音识别发展迅速,端到端语音识别更因其结构简洁、目标统一等优点,已达到可以和传统语音识别媲美的程度。其中,基于Transformer的端到端语音识别框架因其优秀的建模能力已广泛应用于离线语音识别领域,但目前的研究仍存在一些问题。一方面Transformer模型的优秀性能得益于自注意力模块的全局建模能力,但中文由于其同音异形字、词组等特殊结构,自注意力模块缺乏对其局部建模能力;同时训练过程中自注意力
三维数字图像相关法(Stereo Digital Image Correlation,Stereo-DIC或3D-DIC)是一种结合二维数字图像相关法(2D-DIC)和双目立体视觉原理的光学测量方法,可以测量平面或曲面物体表面的三维形貌和三维变形,具有非接触式、装置简单和全场测量等优点。使用3D-DIC测量物体表面的三维变形时,需要处理各个时刻两个相机拍摄到的图像,包括立体匹配、时域匹配等步骤,计
随着信息通信技术的发展,配电网的信息物理融合程度进一步加深。在配电网信息物理融合系统(Cyber Physical Distribution System,CPDS)中,配电网的故障处理过程高度依赖于信息系统的正确判断,因此信息系统失效成为威胁电网可靠运行的影响因素之一。为了准确反应当前配电网的真实状态,精细化可靠性评估需要充分计及信息系统的影响。当前CPDS可靠性评估研究集中于集中式馈线自动化模