互联网的飞速发展在给社会带来极大便利的同时,计算机安全问题也随之而来。恶意代码便是其中重要威胁之一。恶意代码的高危害能力给个人、组织单位、金融、军事甚至国家都造成了巨大损失。因此恶意代码的研究一直是计算机安全领域的研究热点。随着恶意代码自动生成技术和混淆技术的快速发展,恶意代码的种类和数量呈爆发式增长。基于标签匹配的传统检测方法无法满足新形势下对安全提出的新要求,而机器学习算法和深度学习在恶意代码研究问题中扮演了越来越重要的角色。本论文主要工作包括:1、融合模糊集理论和KNN算法,提出了模糊KNN算法,并将该算法应用在恶意代码识别。该方法在特征提取阶段,首先通过静态分析提取恶意代码的PE文件结构信息,然后使用模糊集理论生成恶意代码的模糊特征向量。使用“最大模糊区间匹配原则”过滤离群点的干扰,并计算模糊向量之间的欧式距离,找到距离最近的K个样本。在分类阶段,使用下标倒数加权法赋予每个最近邻样本不同的投票权重,弥补了经典KNN算法可能出现平局的缺陷,且能够更好地处理数据不均衡的情况。最后,将具有最大投票权重之和的标签作为预测类别。通过在公开数据集ClaMP上进行实验验证,模糊KNN算法取得了0.952的识别准确率,0.977的召回率和0.99的AUC,优于传统KNN、Local Mean KNN、SVM等其它对比算法。2、提出动态API调用序列可视化方法,并结合深度学习完成恶意代码分类。该方法综合考虑了动态运行期间被调用API的类别、调用时间、次数、频率等因素,生成能反映恶意代码行为模式的特征图像。再利用卷积神经网络对特征图像进行学习和分类,从而间接达到恶意代码分类的目的。实验表明,该方法在9类恶意代码家族的分类实验中得到了0.993的分类准确率,0.993的召回率和0.00085的FPR。并且随着测试样本的增加,分类耗时仍维持在毫秒级,具有较高的准确率和高效性。