随着卷积神经网络的发展,网络的层数不断增加,参数量与计算量成倍增长,对硬件的存储资源和计算资源要求越来越高,也对神经网络在工业界嵌入式设备、移动端设备和其他资源受限的平台上部署应用带来了诸多困难。因而催生了模型压缩算法,对现有网络的参数进行压缩,从而减少运算次数,提高推理速度。但是目前的模型压缩算法发展还存在着严重破坏网络原有精度、压缩倍数不理想、可选择压缩方式单一等缺陷,针对这些问题,本论文提出了基于注意力机制的网络剪枝算法和知识蒸馏算法,可在压缩模型的同时保持原有的高精度,进一步与网络量化算法结合构成了一个完整的模型压缩框架,在图像分类和目标检测任务上验证了该框架的压缩效果。本文主要的工作与创新点如下:1.提出了一个基于辅助注意力编码层的网络通道剪枝算法。将通道域注意力信息与剪枝的二值化掩码相结合,设计成为一种可嵌入网络的编码层,通过专门设计的直通估计器估计离散值的梯度,与原始网络一起通过反向传播算法更新训练,得到一个稀疏的网络。无需额外的微调训练,即可方便地剔除冗余参数。在不同规模的数据集和不同网络结构上验证了剪枝算法的有效性。2.提出了 一个基于双域注意力的衰减知识蒸馏算法。在原始知识蒸馏算法的基础上,将空间域注意力信息和网络输出概率编码形成目标概率,经过一个选择性蒸馏模块对学生网络进行指导训练。接着使用均方差损失拉近师生网络对之间的通道域注意力向量的距离,使用衰减策略对蒸馏损失进行权重退火,逐渐提升学生网络的独立学习能力。然后在不同结构网络和数据集上对比验证本算法的有效性和创新性。3.提出了一个通用的自动化模型压缩与加速框架。它包括前述的剪枝、蒸馏算法和8位网络量化算法。该框架可以根据不同的用户需求和应用场景选择合适的压缩策略。同时,对剪枝和蒸馏模块增加了强化学习策略,可以简化调参流程,降低使用门槛,形成自动化剪枝模块和自动化蒸馏模块。最后在不同的视觉任务上验证了本框架的压缩效果和泛化能力。