随着互联网与大数据相关技术的成熟与发展,越来越多的组织和企业开始构建计算集群,并将大量的内部或外部应用托管于集群之上,以存储和分析日益增长的数据,并支撑所部署应用的相关服务。为避免应用的SLA违约,集群管理者常会给部署于集群中的应用提供过量的计算资源,因此当前大型集群存在资源利用率普遍过低的现象。而集群利用率的提高意味着使用更少的机器和更低的成本。因此,集群所有者寻求各种方式来提高集群的利用率。当今的技术环境中,绝大多数大数据驱动的应用程序和解决方案都基于流数据的实时处理,大数据流的实时处理和分析在大数据驱动应用和大数据解决方案的开发中发挥着至关重要的作用。本文针对集群资源利用率普遍过低的问题,基于深度学习和集成学习相关模型,使用流计算Storm平台设计了一套集群日志实时分析系统,为集群资源的高效管理提供了切实有效的解决方案。1)对集群资源实时预测和集群失败作业实时预测的背景以及研究的目的和意义做了阐述,并对集群中各个模块使用的相关技术进行了介绍,重点介绍了系统核心模块,分布式日志实时计算使用的大数据计算平台Storm。2)对系统需求进行分析,并设计了系统整体架构,包括分布式日志收集及预处理模块,分布式日志缓存模块,分布式日志实时计算模块,以及结果存储与展示模块。3)在Storm上结合深度学习和集成学习设计了两种对集群日志进行实时计算的模型:DeepStorm和WideStorm模型,并在DeepStorm和WideStorm上对集群资源(包括CPU利用率和内存使用量)和集群失败作业进行实时预测。对集群资源实时预测主要是对整个集群中多个计算密集型的机器未来时间间隔的资源趋势进行预测;集群失败作业的实时预测分为三个场景进行实验:仅有静态特征、静态特征加早期的动态特征、静态特征加全部的动态特征对未来时间间隔的集群失败作业的预测。实验结果表明,DeepStorm模型和WideStorm模型不仅可以在作业运行的早期准确率高达95%以上预测出作业的失败,也可以在性能评估参数较低的情况下预测集群未来时间段的集群资源使用趋势。