大规模并发环境下并行I/O调度策略研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:herirong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式并行文件系统已经成为高性能应用领域不可缺少的组成部分,在实际应用环境中,面向的往往是大规模的客户端,在大量客户端IO密集型应用并发地访问服务器时,数据服务器的IO请求队列会很长,而服务器往往无法针对客户端应用做整体优化,当客户端应用的IO请求是同步请求时,平均完成时间会很高。而现有的I/O调度优化策略很少考虑高并发环境下的同步I/O负载特征对应用程序平均完成时间带来的影响。  详细介绍了分布式环境下的I/O调度策略以及它们的适用场景,针对目前鲜有研究的高并发环境下的I/O特征进行了研究以及理论分析,分析了导致高延时的原因。由此提出了多级等长I/O队列调度算法(EML,Equal-length Multi-level Algorithm),一种面向客户端应用进程的I/O调度策略,通过构造多个优先级队列并限制每个优先级队列的队列长度,缩小部分应用程序两次同步IO的处理间隔时间,并且动态调整应用的优先级,从而降低了应用程序整体的平均响应时间。同时,通过deadline机制保证应用程序的公平性,消除潜在的饥饿现象。另外,还提出了一种针对多服务器文件条带化的优先级调整方案,来保证同一应用在不同服务器上优先级的一致。  最后在PVFS2系统上实现了该算法,并与原始的PVFS2进行了基准测试对比。实验证明,EML算法对系统有良好的性能提升,并对于不同的访问负载具有很强的适应性。
其他文献
Matching Problem(图的匹配问题)和packing问题都是一类重要的NP难问题。3-维匹配问题和P2-packing问题是两个具有代表性的matching和packing问题。在参数复杂性理论框架内,人们
数据挖掘技术是机器学习、数据库和统计理论相结合的产物,是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中,提取隐含的、先前未知的并有潜在价值的信息的非平凡过程
目前,中小型离散制造企业的数字设备普遍存在多种控制系统并存、不能实现远程监控与维护、信息难以直接连通和集成控制等问题;同时,生产现场信息不能被及时采集、处理和应用,现场
软件技术的发展已经经历了面向过程、面向对象和面向组件几个阶段,近几年,又提出了面向服务的体系结构SOA(Service Oriented Architechture)。SOA具有松藕合、易集成、可重用和
随着计算机浮点运算能力和图形加速能力的飞速提升,应用实践对三维模型的真实感和细腻度的要求越来越高,导致了三维几何模型的拓扑信息和几何信息急剧增长,从而为模型数据的传输
本文以徐工职院辅助教学系统(XGYFJXT)的研究与设计为背景,以CSCW理论和工作流技术、群件技术作为指导,用SQL Server建立系统数据库,以JAVA语言进行系统的设计,实现了支持多
由于信息技术的发展和激烈的竞争,独立、零散的办公自动化系统和计算机应用已不能满足人们的需要,而综合、集成化的解决方案日益成为企业所需。作为一种对常规性事物进行管理、
本文通过对时间规划中R_时刻表这个主题的深入探讨,以时间关系矩阵为基础,给出了R_时刻表算法的详细步骤,并设计了一个通用的时间规划系统,将时间规划应用于大学课程和田径运动会
学位
随着Internet的快速普及,Internet已经在社会政治、经济、文化、军事等领域中发挥着越来越大的作用。与此同时,在全球范围内,对计算机及网络基础设施的攻击行为也已经成为一个越