面向高分辨率大气模拟的I/O优化方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:Redlove
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着高性能计算的发展,计算能力得到大幅度的提升,然而受限于投资和复杂度,I/O性能则相对发展缓慢。基于此,I/O性能已经成为众多HPC应用程序的性能瓶颈,提升应用程序的I/O性能就显得格外重要。然而I/O系统具有高延迟、深共享、访问模式多变和成本问题,高端应用无一例外地受到I/O的困扰,其表现为很强的不确定性和振动性。同时,高性能应用程序的I/O行为大多是复杂的,分析和理解高性能计算机上应用程序的I/O行为是提升性能的关键。首先,本论文首先设计和实现了一个轻量级的I/O框架,支持灵活的I/O配置,自适应I/O调优,同时也支持同步和异步模式。该框架不同于ADIOS,它是一个轻量级的框架,主要解决计算和I/O的性能可扩展性不一致的问题,从而释放计算的可扩展性。也不同与PIO,该框架支持自动I/O调优以及灵活配置。我们在IBM P460系统上以GRAPES为例,证明了该框架的有效性。其次,为了进一步的分析应用程序的I/O行为,本文还实现了一个面向HPC应用程序的I/O trace采集和分析工具。该工具通过采集和高效存储前端计算节点上的I/O日志,统计各个计算节点上的读写行为数据,用IOPS(I/O operations per second)、I/O带宽、数据大小分布和各个节点的I/O活跃情况等指标来量化反映应用程序的I/O特征和性能问题,并进一步分析应用程序以及系统可能存在的瓶颈。在神威太湖之光超级计算机上,我们以NPB-IO、MPI-IO测试程序和真实应用程序验证了 I/O trace采集和分析工具的有效性。
其他文献
近年来,随着社会和经济的快速发展,互联网技术在我们的日常工作和生活中扮演着越来越重要的角色,而且随着电子设备和社交媒体的普及,多媒体数据(文字、图像和视频等)增长迅速
联想记忆(Associative Memory,AM)是人脑的重要功能,是逻辑思维和形象思维、推理和创新的源泉。与传统的联想记忆模型相比,形态学联想记忆(MorphologicalAssociative Memories,
随着3D扫描设备的发展,用这些设备来获取现实生活中的物体的三维表面数据已经成为可能。尤其当微软的Kinect,华硕的Xtion,英特尔的RealSense等深度相机的出现,人们获取这些三
无线传感器网络(WSNs)是由大量传感器节点组成的,它们被部署在所需监测的目标区域。这些节点协作地感知和处理监测区域中的信息,即能够用来获取客观物理世界的信息。因此近年
在处理客观世界中的事物时,人们原来就认为客观事物就是非此即彼,于是,Cantor于1874年创立了经典集合的理论。在经典集合理论中,经典集合中的任意一个元素要么在这个集合中,要么不
目前,在这个信息化迅速发展的时代,随着计算机的广泛应用和互联网技术的普及,人们互相交流思想获取信息变得更加快速和便捷,抄袭现象也越来越普遍,手段也越来越隐蔽。在各个高校中
随着信息技术的发展,数据挖掘技术作为目前计算机研究的热门领域,在社会各方面得到广泛使用,它旨在从大量数据中挖掘出有价值的信息。   本文重点研究数据挖掘中的分类方法和
在分布式网络快速发展的推动下,数字视频内容日益丰富,数量急剧增长。数字视频储存、复制和再分发的便利性,一方面极大地满足了人们学习和娱乐的需求;另一方面又带来了越来越多的
由于无线信道的广播特性,无线传感器网络中任一节点发送的无线信号都可能被其通信范围内的其他节点接收。因此,当位于同一地理区域范围内的节点同时传输信号时,会形成相互干
在航天领域,飞行控制计算机作为航天飞行器控制系统的核心功能部分,其可靠性要求不容置疑是很高的。本文主要以某型号航天飞行器的飞行控制计算机研制项目为背景,结合飞行控制任