MapReduce故障恢复机制设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:jessiemaa18
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大规模数据运算的不断发展,运算集群的规模越来越大,对系统可靠性的要求也越来越高。然而,对于如此大规模的集群,不可避免的存在着各种各样的故障发生。在MapReduce作业的运算过程中,集群上任务故障和节点故障更是十分普遍。然而,MapReduce现有的故障处理方式存在着一些缺陷。因此,对MapReduce计算模型故障恢复机制进行研究与设计具有很大的意义。本文阐述了云计算的概念、特点以及发展现状,并简单介绍了Hadoop集群的特点,在此基础上,说明了对大规模集群故障恢复机制进行研究的意义以及国内外的研究现状。然后,本文对MapReduce计算模型进行了简单的介绍,阐述了MapReduce计算模型的基本思想、工作原理和任务调度流程。在此基础上,介绍了MapReduce计算模型主要故障类型,并针对各种故障类型深入分析了其故障处理方式。接着,在现有的MapReduce计算模型基础上,增加了节点的自动重启功能模块,使得各节点在故障后可以迅速重启;并进一步对任务故障后的恢复机制进行了设计与实现,使得运行失败的任务在重新调度后不必从头开始执行,而是可以在故障前的进度基础上继续执行。通过相关的优化,使得集群在运算中出现故障后能够更快的实现故障恢复。最后,本文对优化后系统进行了功能和性能的测试与评估。结果表明,优化后系统的故障恢复机制在功能上达到了预期的目的,性能上优于原先的MapReduce计算模型。
其他文献
随着科技的发展和生活水平的提高,智能家居开始走向大众。ZigBee是部署无线传感器网络的数据传输技术,其低成本、低功耗、强大的灵活性等特点,更符合家庭网络的通讯特点。以它
随着计算机技术的发展,计算机数字图像处理在生产和生活中的应用越来越多,本文首先研究了云计算基础知识以及关键技术和服务架构,建立了基于云计算的数字图像处理平台,然后研
相控阵雷达在军事上的应用日渐广泛,要满足雷达系统性能日益增长的需求,必须采用大孔径天线,以便得到更高的角度和距离分辨力。但是大型相控阵阵元数目众多,采用阵元级数字波束形
20世纪50年代起是雷达成像技术的发展时期,它是雷达发展的一个重要时期,后来随着经济社会的发展和科学技术的进步,雷达成像应用的技术大多数是合成孔径雷达(SAR,Synthetic Ap
对爆炸产生的冲击波等参数的测试是评估爆炸对船舶毁伤效能的重要方法之一。针对船舶毁伤试验在海上进行且爆炸产生一个高温、高压、高冲击和强电磁干扰的恶劣环境,舰船毁伤试
在军事通信中,出于安全角度的考虑,往往利用无线电对部队进行调动、部署,现代军事战争中,对电子资源的争夺和利用,甚至能左右一场战争的成败。作为发信方,理所当然的会采取低截获概
随着现代信息社会的飞速发展,高速率移动多媒体业务成为除传统语音和低速率数据传输业务之外最主要的移动通信业务之一。为了应对高速增长的移动数据流量,第五代(5G)移动通信系
近些年来,计算机网络和多媒体技术的发展速度越来越快,建立在计算机网络、多媒体技术基础上的视频监控技术也因此获得了更大的发展.就目前来说,数字视频监控系统主要应用在安