大数据流式计算环境Heron下的任务调度优化策略研究

来源 :新疆大学 | 被引量 : 0次 | 上传用户:cmudh134
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算、物联网、人工智能和5G等新兴信息技术的不断发展,传统的批处理计算模式无法适用于海量实时数据的处理和分析,基于流式计算模式的分布式流处理系统应运而生,并在社会各个领域中广泛应用,已经成为大数据处理生态圈中重要的组成部分。但目前主流流式计算系统使用的静态任务调度机制和轮询调度算法,使其在实际应用中无法对任务进行动态调度,从而在运行性能、负载均衡和资源利用率等方面对系统产生影响,限制了流式计算系统的应用场景。针对该问题,本文以新一代开源流式计算系统Apache Heron为研究对象,使用启发式规则并结合拓扑结构提出两个动态任务调度算法,旨在降低系统整体通信开销,提高系统数据传输效率并均衡集群工作负载。本文通过实验和观察剖析Heron默认调度机制在实际应用中存在的困难和挑战,明确针对系统通信开销进行优化的研究可行性。进而对其默认调度算法进行抽象,建立任务调度基本模型并提出资源约束模型和最优通信开销模型,将任务调度优化问题定义为NP-Hard问题。为在合理的时间范围内解决该问题,首先提出以分类为启发式规则的流分类任务调度策略(DSC-Heron),其根据拓扑运行时实时数据流大小使用流分类算法对数据流进行分类,通过流分类任务调度策略对不同类别的数据流进行重调度,并使用流簇分配算法将对系统开销影响权重较高的高频数据流聚集到同一工作节点中,从而在满足资源约束条件下将节点间通信转化为节点内通信,降低系统整体通信开销以提高系统数据传输效率和系统性能。其次基于负载感知模型提出以数据流转化量为启发式规则的负载感知任务调度算法(L-Heron),该算法以工作节点理想负载为紧凑资源约束条件,在任务重分配时始终贪心的选择具有最大数据流转化量的任务实例进行调度,使最终构建的目标任务分配计划在满足负载均衡模型的同时最小化整体通信开销,从而提高系统性能并均衡集群负载。最后,基于MAPE模型构建Heron环境下的动态任务调度机制,提供异步自适应的动态调度过程和配置化的动态调度算法部署模式。实验采用Heron经典示例拓扑、自定义拓扑和开源基准测试拓扑,分别在系统完成时延、通信开销、吞吐量以及负载均衡方面评估DSC-Heron和L-Heron的有效性和适用性。实验结果表明,两种动态任务调度算法相较于默认调度算法均具有一定的有效性,其中DSC-Heron更适用于具有较大数据倾斜的拓扑并能够在一定程度上均衡负载,L-Heron具有较广泛的拓扑适用性,可以在弥补DSC-Heron不足的同时对具有较大数据倾斜的拓扑进行显著的负载均衡。
其他文献
第一部分足底内侧皮瓣修复小腿下段、踝周和足部软组织缺损目的:总结足底内侧皮瓣修复小腿下段、踝周和足部软组织缺损的临床经验,评估该皮瓣修复下肢远端软组织缺损的美学和功能效果。方法:回顾性分析2007年1月-2017年12月在东部战区总医院烧伤整形科行足底内侧皮瓣移植术修复下肢远端软组织缺损的病例29例。根据缺损部位将患者分为三组:小腿下段和踝周组,足跟组,前足底组。分析内容包括致伤原因、术前准备、手
农村科普服务是公共部门提高农村群众科学素质的主要手段,而农村群众是科普服务的需求来源和服务效果的真正感受者,因而必须始终坚持“以人民为中心”的服务理念,但目前我国暂未形成农村科普服务的有效评价体系,因此可以借鉴其他公共服务及企业服务绩效评价相关理论与实践,基于农村群众感知视角,构建温州市农村科普服务绩效评价框架,为提高农村科普服务效能提供科学依据。本文以温州市农村地区为特定研究对象,分析界定出农村
通信技术的发展使通信工程的发展前景也比较广阔。鲁泰公司是成立于2011年的通信工程公司,成立之初便采取了市场营销策略并取得了一些成果。但是甲方对通信技术、施工质量等方面的要求越来越高,再加上大型通信施工企业林立、新兴企业不断成立、施工成本增加等众多因素,导致鲁泰公司面临激烈的市场竞争,近几年市场营销取得的成效并不可观。因此,鲁泰公司如何对现有的市场营销策略进行优化与完善,提高企业的市场竞争力,是当
孟子心性之学,一直是中国心性论的重要组成部分,研究成果可谓蔚为大观。但因不同研究者采用不同的方法,所得结论,时有不尽一致之处。本论文以孟子心性论为选题,在文本分析的
随着计算机时代的到来,人们对信息的安全意识逐步加强,因此数据的加密算法成为了一个活跃的话题.由于在加密算法设计中有限域上置换多项式起到了重要作用,所以许多学者对有限
冷却系统是柴油机的重要组成部分,合理的冷却系统是柴油机可靠有效工作的前提。但是,由于冷却系统各缸流动不均匀性的存在,导致冷却系统各缸工作状态的不一致,造成冷却系统的
信息的传递总是在一定的介质上进行(如电线,电缆,光纤和无线电波等),这些介质的物理特性决定了信息在传输过程中总会不可避免地出现错误.纠错码作为一种在信息发生错误后能够
水利工程建设“百年大计,质量第一”,工程质量管理是水利工程建设管理的核心工作。工程施工质量是工程质量形成的关键,而对施工质量进行科学合理的评定是控制工程质量形成的重要环节。针对现行水利水电工程施工质量评定方法存在的问题,本文从施工质量评定方法改进、施工质量激励及系统开发等方面开展研究。首先对现行水利水电工程施工质量评定标准规范以及实际评定效果做了详细研究。针对目前施工质量评定只分为合格与优良两个质
目的:研究25℃冷敏感的瞬时受体电位通道TRPM8是否可减轻心肌缺血再灌注损伤而成为一个潜在发挥心肌保护作用的药物作用靶点,并对其作用机制进行探讨。方法:40只雄性SD大鼠(200g-220g)被随机分为25℃低温缺血再灌注组(25℃+I/R)、37℃缺血再灌注组(37℃+I/R)、25℃低温再灌注加TRPM8阻断剂BCTC组(25℃+BCTC+I/R)和37℃再灌注加TRPM8激动剂Icilin
目的:系统性红斑狼疮(Systemic lupus erythematosus,SLE)的发病机制目前尚未完全明确,在既往研究中通常是使用单一技术进行代谢组学研究,且样本量较小。本研究同时使用液相色谱质谱技术(LC-MS)与气相色谱质谱技术(GC-MS)两种代谢组学技术对SLE患者与健康人群对照组的血浆样本进行差异代谢物分析,为改善系统性红斑狼疮的诊断及治疗提供理论依据。方法:1.采集从2017年