Hadoop中Reduce任务本地性优化

来源 :电子技术 | 被引量 : 0次 | 上传用户:chen95127
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了提高Hadoop作业的Reduce任务的数据本地性,深入分析了Reduce任务的数据本地性问题,并提出了一种延迟调度算法DSORT(Delay Scheduler Of Reduce Task),将延迟调度的思想应用到Reduce任务的数据本地性的优化上,并将DSORT的实现嵌入公平调度器中,最后,通过与原生的公平调度器比较,该算法大大提高了Reduce任务的数据本地性,减少了网络传输开销,缩短了作业的执行时间。
其他文献
环保型益气定喘膏系根据中医经络理论及内病外治疗法,采用现代医学创新制剂工艺精制而成.
目的为口岸传染病监测工作提供科学依据。方法对张家港口岸2001—2003年4092名出入境旅行者传染病监测结果进行统计分析。结果共检出传染性疾病253例,传染病检出率为6。18%。
随着各项检查手段的日益完善,以癫癎发作为首发症状的各种疾病得以早期诊断,自1999-06~2003-06我院收治的28例以癫癎发作为首发症状的老年患者,报道如下.
新生儿缺氧缺血性脑病(hypoxic ischemic encephalopathy,HIE)是新生儿窒息后的严重并发症,病情重,病死率高,并可产生永久性神经功能障碍,如智力低下、癫癎、脑性瘫痪、痉挛
Objective: To measure scFv antibody affinity using non-competitive enzyme-linked immunosorbent assay(ELISA). Methods:Using serial dilutions of antigen ([ Ag ],
针对常规开采在地面堆积矸石山的同时引起开采沉陷并严重危害环境的问题,提出了一条矸石不出井直接充填井下的洁净开采新途径,既可以消除矸石山,又可以减少开采沉陷,具有显著
杨某,男,28岁,主因“突发双下肢全瘫伴双上肢无力6h”,于2004年11月22日入院。患者凌晨5点左右欲起床时突然出现双下肢瘫痪,不能活动,伴双上肢无力,持物不稳,不能自行穿衣,无
目的探讨胰腺损伤的诊断和治疗方法.方法分析1987~2003年收治胰腺损伤17例的临床资料.结果本组17例中,非手术治疗4例,全部治愈,并发胰腺假性囊肿2例,手术治疗13例,治愈12例,并
针对永磁同步电机是一个多变量、强耦合、时变的非线性复杂系统,为达到较高精度的控制需求寻求其适当有效的控制方法。为了简化永磁同步电机的建模过程,文章采用的矢量控制策略
传统的Simulink仿真方法,需要进入模型文件内部来控制模块的参数或仿真进程,这就很难满足人们对仿真的友好交互界面的要求。针对上述情况,提出了一种基于Simulink的视频播放器的