随着网络的普及和移动互联网的广泛应用,恶意软件的传播途径增多,使得恶意软件的数量迅速增长。恶意软件作者使用混淆和变形等技术生成新型恶意软件,以逃避传统检测方法的检测,这给传统的恶意软件分析和检测方法带来挑战,并且使计算机系统安全面临很大的威胁。把具有相似行为或特征的恶意软件分类为恶意软件家族,对于恶意软件的分析和检测具有重要的作用。使用机器学习技术,特别是深度学习技术,以快速准确的识别恶意软件是研究趋势。本论文旨在研究基于卷积神经网络的恶意软件分类算法。首先将恶意软件转化为灰度图像,同时充分地利用了卷积神经网络在图像处理领域的优点,建立了检测和分类为一体的综合模型。该综合模型避免了传统分类模型在前期对复杂图像进行特征提取的过程,从而大大的缩短了运算时间。通过实验数据比较发现,本文提出的模型对恶意软件的识别和分类精度较传统模型有明显提升。主要研究内容包括:(1)分析恶意软件现状和安全威胁,总结了现阶段常用恶意软件检测相关的研究成果和方法。(2)使用反汇编文件中提取的操作码频率特征,作为传统机器学习分类算法的输入集,以提高传统机器学习的分类精度。(3)将二进制流格式的可执行恶意软件转化为十六进制数值字节流格式,再将十六进制数值字节流格式转化为灰度图像,以便利用卷积神经网络对灰度图像进行处理。(4)利用卷积神经网络在图像处理领域的优势,避免了复杂图像的前期预处理过程,可以直接输入原始灰度图像。从而提高灰度图像的识别效率,提高恶意软件的分类精度。通过大量实验发现,本文提出的基于卷积神经网络的方法在恶意软件分类中的分类正确率可以达到99.3%,达到较好的分类效果。