近年来,随着云计算的快速发展,越来越多的企事业单位和业务场景向云平台逐步迁移,云平台聚集了大量的应用系统和数据资源,因而云平台的安全问题成为业界关注的焦点。与传统环境不同,攻击者可以从云平台内、外等多种途径对云环境发动攻击。因此,虚拟化环境下的异常行为检测就显得格外重要。本文通过对现有的虚拟机自省技术和异常行为检测技术的分析与研究,针对虚拟机自省时面临的语义鸿沟问题,即将不可读的低级语义重构为可读的高级语义的问题。提出了一种基于图像的虚拟化平台异常行为检测技术研究。本文的主要工作如下:(1)总结了现有的虚拟机自省技术以及跨越语义鸿沟的方法,并根据语义重构过程的透明性提出了一种新的虚拟机自省技术分类方式。同时,本文总结了使用恶意软件图像检测恶意软件的不同方法,并从恶意软件图像生成、特征提取和分类算法方面对这些方法展开对比,分析了现有图像方法的不足并提出了自己的解决方案。(2)提出了一种虚拟化环境下的基于内存图像的异常行为检测方法。该方法通过带外的方式来获取客户虚拟机的内存转储文件,收集了2000个包含异常行为和1050包含正常行为的内存转储文件。然后将这些内存转储文件转化为图像,并依据内存转储文件的结构对图片通过分割和插值方法进行降维处理。最后,使用卷积神经网络对内存图像进行分类,实现异常行为的检测。(3)本文针对内存图像的分类设计了一个合适的卷积神经网络模型—MIC-Net,该网络结构在VGG网络模型的基础上进行了修改,并使用全局最大池化取代使用激活函数的全连接层,减少了参数的同时也更好地避免了过拟合,提高了网络模型的泛化能力。经过实验测试,该网络模型取得了99.95%的分类准确率,证明了在虚拟化环境下基于内存图像的异常行为检测方法的可行性。