基于时序数据挖掘的异常检测系统研究与实现

来源 :浙江大学 | 被引量 : 0次 | 上传用户:zhangqin0629
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在阿里云对象存储Object Storage Servic(OSS)服务器运营维护工作中,人工运维、规则化异常检测依然占据主流,异常检测场景的多样性促使代码开发管理任务繁重,服务器集群的动态变化和调整、区域阈值设定及人工调参的运维方法使得运维任务繁重,运维人员分身乏力,所以需要一种更智能化的异常检测系统伴随服务器集群的动态发展,以保障业务稳定,提高运维效率。本文使用时序数据挖掘技术构建了XGBOOST-Quartile-LOF异常检测方法,该方法主要思路为基于时序数据预测结果进行异常检测;在选择预测方法过程中,对Long Short-Term Memory(LSTM)、Gate Recurrent Unit(GRU)、e Xtreme Gradient Boosting(XGBOOST)方法进行了横向和纵向对比,优化各预测模型的关键参数后,根据预测效果和性能最终确定了XGBOOST预测方法;在预测值原始值的差值绝对值基础上,对多种单一检测方法分别进行了参数优化和数据测试,并通过理论分析和实验对比构建了双层过滤检测方法Quartile-LOF,该检测方法具备良好的检测效果和性能,拥有接近于Quartile的检测性能,同时也具备了Local Outlier Factor(LOF)局部和全局的异常捕获能力,提高了异常检测的精确率以及综合效果。基于XGBOOST-Quartile-LOF异常检测方法,针对在阿里云对象存储(OSS)运维中遇到的实际问题,本文设计并实现了服务器指标异常检测系统;该系统使用阿里云日志服务Simple Log Service(SLS)存储服务器采集数据、压缩后数据、预测数据及异常数据,使用阿里云大数据计算平台Flink作为日志数据规整化计算引擎,使用Python开发指标预测和异常检测模块,使用钉钉智能机器人API和电话通知作为异常分级通知告警方式;该系统数据存储与计算分离,模块之间独立性强,数据易于检索和可视化,可用性与移植性强;通过公开数据集对系统进行测试,结果表明该服务器异常检测系统能够稳定运行,预测和检测效果均达到预期,证明该服务器指标异常检测系统设计合理,能够在有效检出异常的同时提高运维效能,且已在OSS服务器运维工作中上线运行。
其他文献
控规在过去的城市用地管制实践中存在诸多问题,已不能满足市场经济转轨和国土空间规划体系改革所要求的对城市空间用途的高效管制。本文以回顾控规的前身——美国区划管制的运行背景和发展为起点,从体系地位、法律效力、管制内容、实施程序等角度对美国区划管制(以纽约为例)与我国控规的已有实践进行对比,并结合新形势下国土空间规划体系改革对控规提出的新要求,从探索综合性"地块化"分区管制机制、探索多样化弹性管制工具、
学位
欧洲人瓜分非洲的活动没有顾及非洲当地的实际情况,也没有考虑非洲人的权益诉求,由此造成的边界、族群、资源分配等方面的问题一直延续,为非洲的发展带来了不少的麻烦从奴隶贸易到"合法贸易",持续的经济交流使非洲与欧洲的关系不断强化。从内陆探险到传教,欧洲人对非洲人与自然的认知不断完善。经过了数百年的渗透后,在19世纪末20世纪初的约30年时间里,欧洲相关国家对非洲进行了瓜分。瓜分非洲的动机瓜分非洲的
期刊
学位
在习近平法治思想的指导下,随着《法治中国建设规划(2020—2025年)出台》,我国地方法治建设规划起草工作正如火如荼地开展。习近平法治思想为地方法治建设开辟了新的境界,更好地发挥了地方法治建设规划的蓝图作用。但在部分省市法治建设规划的起草过程中,尚有起草部门协同能力建设有待提升、科层制降低起草效率、内容求全责备以及与地方发展情况脱节等问题。为了提升地方法治规划起草工作水平,起草部门应当加强协同机
学位
西方著名教育家托马斯?阿奎纳曾经指出"教学是教师试图借以尽快摆脱学生的一个过程"。我国语文教育家叶圣陶先生也说过"教是为了达到不需要教"。无论是"尽快摆脱学生"还是"达到不需要教",究其根本,都阐明了教学活动的终极目的——高效有序地培养学生的基本能力,全面稳固地提高学生的综合素质。现行教材中的自读课文,正是培养学生自读意识、提高自悟能力的一个很好的手段。在自读教学中,要注意哪些问题呢?先来谈
期刊