存储系统可靠性关键技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:sony360
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自图灵奖获奖者James Gray总结并提出“在当今网络应用环境下,每18个月新产生和增加的数据存储总量等于有史以来所有数据存储量之和”的经验定律以来,人们意识到数据正在呈爆炸性增长的趋势。作为数据的载体—存储系统已经在信息社会中得到了迅猛的发展。存储系统经常出现各种异常因素可导致故障的发生,更糟糕的是严重的故障会引起数据丢失和损坏。因此,随着数据量的不断增加和数据价值的不断提高,存储系统可靠性问题变得越来越重要,对影响存储系统高可靠性因素的关键理论和技术进行研究显得尤为迫切。各种可靠性技术已经在存储系统中得到应用。首先,使用冗余等技术可以提高存储系统的可靠性,当系统发生故障时,可以利用冗余信息进行数据重建。然而,在目前的技术条件下,系统的重建时间窗口非常长且会严重影响正常I/O性能,更严峻的问题是重建时间较长时,第二个磁盘出错的概率也较大,极易造成数据全部损毁。因此,为了减少重建的发生,提高和预测磁盘可靠度是一个值得研究的问题。其次,大量的实验分析表明高使用度的磁盘和高失效率之间有着高度的相关性,可以利用这种关系防止磁盘失效和数据丢失。因此,有必要对磁盘使用度概念进行探讨并结合其它方法对提高存储系统的可靠性进行研究。第三,统计表明,流行数据是影响存储系统可靠性的决定性因素,根据流行数据预测和利用它进行性能等优化的相关研究可知,利用和预测流行数据是提高存储系统可靠性的关键研究问题之一。最后,由于磁盘温度过高可以加剧磁盘失效,而磁盘温度升高最主要的原因是工作负载的增加。因此,调整和预测工作负载对磁盘温度进行控制是提高存储系统可靠性的一个研究方向。针对上述几个方面的关键问题进行了理论和实验研究,主要工作有:为了提高和预测磁盘的可靠度,提出了基于磁盘SMART技术的磁盘可靠度模型。根据磁盘SMART参数的实际值、阈值和属性值建立参数可靠度模型,通过理论研究讨论和实际测试分析选择出重要参数并确定重要参数的权重,根据参数可靠度和参数权重建立磁盘可靠度模型。通过分析SMART参数实际值发生变化的参数数量和参数权重情况确定磁盘可靠度预警阈值,结合磁盘可靠度和磁盘可靠度预警阈值对磁盘可靠度级别进行了分类。依据模型设定的阈值,将低级别可靠度磁盘中的数据迁移至备份盘,从而提高存储系统的可靠性。为了利用和预测流行数据,给出了基于Zipf定律的数据流行度模型。该模型结合当前时刻所有数据访问频率的排名和数据访问频率在当前一段时间内的增速这两个已知参数,可以预测将来时刻这些数据新的访问频率排名情况。同时,对Zipf定律参数和C参数、预测将来时间以及流行数据队列长度等四个参数采用不同的方法进行了详细的估计。通过分类的流行数据特征对预测率进行了讨论和分析,并且结合不同的预测将来时间和流行数据队列长度两个模型参数分析了预测率高低的原因。对不同磁盘可靠度和磁盘使用度级别中的当前流行数据和将来流行数据采取不同的数据迁移等保护措施,从而提高存储系统的可靠性。为了合理的控制磁盘温度,以及预测磁盘工作负载,提出了基于Hurst指数的磁盘温度控制方法。该方法结合磁盘温度和工作负载之间的紧密关系,提出了一种利用Hurst指数计算I/O工作负载自相似性(H值)的方法,并且使用variance-time和R/S分析两种方法估计H值。通过计算得出的H值,可以预测出下个时刻的I/O负载。最终对当前时刻高温度磁盘以及预测的将来时刻高工作负载磁盘发出转移负载或关盘指令等保护措施,防止磁盘温度过高导致磁盘失效,从而提高存储系统的可靠性。为了验证磁盘可靠度、磁盘使用度、数据流行度和磁盘温度的解决方案效果,对基于SMART技术的磁盘可靠度模型、基于Zipf定律的数据流行度模型以及基于Hurst指数的磁盘温度控制方法进行测试与分析。同时,提出了基于磁盘可靠度、磁盘使用度和数据流行度以及基于磁盘温度和工作负载关系两种可靠性优化方法来提高存储系统可靠性。实验结果表明,这些技术和解决方案能够有效地提高存储系统的可靠性。
其他文献
目的探讨孕期宫腔粘连带的超声声像图特征及临床意义。方法回顾性分析2015年8月至2018年10月经产前超声检查诊断为宫腔粘连带的81例孕妇的临床资料,分析彩色多普勒超声诊断准
目的探讨小金丸联合青霉素治疗小儿急性肠系膜淋巴结炎的临床疗效。方法急性肠系膜淋巴结炎患儿68例,随机分为实验组和对照组,各34例。对照组患儿单纯给予青霉素钠,实验组患
科学计算永无止境的计算需求驱动着高性能计算机系统进入了千万亿次时代,面向千万亿次系统的各种关键技术将是未来构建百万万亿次系统的基石。受到CMOS工艺特征尺寸、功耗和
50集大型系列电视纪实片《讲那创业年代的故事》一经在大庆电视台播出,立刻在社会引起广泛热烈的反响.这部大型电视纪实片深含着历史唯物主义的情怀,深含着对老一辈社会主义
电视民生新闻节目的内容主要是以群众为中心,展现的都是与群众日常生活息息相关的事件。主持人作为新闻节目的形象代表,自然也受到了人们的关注。民生新闻主持人的语言特点与
6S管理是由SEIRI(整理)、SEITON(整顿)、SEISO(清扫)、SEIKETSU(清洁)、SHITSUKE(素养)、SAFETY(安全)这6个单词组成,由于这6个单词前面的发音都是“S”,所以简称为“6S”。
预防医学生毕业实习作为预防医学专业人才培养的重要环节,不同的实习模式从不同方面锻炼学生的基本技能以及对专业内容的掌握程度,从而培养学生分析、解决问题的能力。本文通
为了有效防治白茫雪山防雪走廊段风吹雪灾害的产生,在研究白茫雪山防雪走廊段地形地貌的基础上,使用Fluent软件进行数值模拟,数值模拟结果反映出,在设有防撞护栏和防雪墙的情
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield