论文部分内容阅读
如何及时,准确地检测出网络中的异常事件,对于网络的安全具有十分重要的意义。相较于传统的基于特征匹配的误用检测,异常检测具有计算负担小,能够检测零日攻击以及不受加密流量影响的优势,因而成为学术界研究的热点。当前提出的各种异常检测方法普遍存在以下几点不足:1)较低的检测率和较高的误报率;2)模型的建立和选择相当困难3)数据污染会影响建模精度;4)难以满足骨干网高速链路实时检测的要求。为此,本文基于对网络流量的分析,提出了几种高效的异常检测算法,深入地研究了模型选择问题,并对大数据技术和异常检测的结合进行了初步的探索和实验。本文主要的贡献和创新点如下:1.本文提出了两个线性相关的流量特征—IGTE(Inter-Group Traffic En-tropy)和IGFE(Inter-Group Flow Entropy),并据此提出了线性回归检测算法。随后,本文又将线性回归检测算法扩展为非线性以容纳更多的流量特征,并提出了基于证据函数(Evidence Function)自动确定最佳阶数的模型选择算法。2.本文观察到数据污染会影响线性回归检测算法的建模精度,并据此提出了鲁棒性更强的M-估计检测算法。3.本文提出了两种基于最小均方自适应滤波器(Least Mean Square Adaptive Fil-ter)的异常检测算法。这两种算法能够基于部分采集数据输出检测结果,并能够根据当前网络的状态自适应地调整权值,从而适合于实时异常检测。4.为了提高异常检测对于不同网络环境和不同异常种类的鲁棒性和可靠性,本文提出了一种结合多个检测算法的整合算法,并基于流计算平台Apache Storm实时地实现了该整合算法,从概念上验证了利用大数据技术实现实时异常检测的可行性。