基于RDP编码的分布式存储系统磁盘故障修复

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:anshuly
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
建立维护可靠的、可扩展、低成本、高性能的分布式存储系统是云计算、大数据以及互联网公司应用后台基础的主要目标。分布式存储系统拥有着传统集中式存储所无法比拟的优势,然而,由于分布式存储系统组件的不可靠,运行过程中存在着种种异常情况,在各种异常中磁盘故障发生的概率最高,因此如何高效、透明地恢复磁盘故障,重构磁盘数据,是分布式存储系统所面临的重大问题。在容多错的分布式存储系统中存在着频繁的单节点故障,使得单节点故障数据修复问题成为研究的热点。基于纠删码的分布式存储系统数据修复在现阶段主要考虑的重要因素之一是从存活磁盘读取的数据量最优,因此本文的研究重点为以下两方面:一、研究分布式存储系统中单节点故障时的磁盘数据修复问题。通过针对分布式存储系统中存储介质的实际读取特性,设计了一种新型的基于磁盘连续读的故障修复方案。本文提出的基于连续读的修复方案在保持单磁盘故障修复过程数据量读取量最小的前提下,最大程度维持磁盘访问的连续性,减少磁盘的跳跃性读取,加快单磁盘故障的修复效率。本文针对RDP编码提出了相应的基于磁盘连续读的单节点故障修复方案,理论和实验均表明,该修复方案可以显著提高单节点故障修复的速率,减少修复时间。二、设计开发支持纠删码容错存储技术的分布式存储研究平台DSRP,该平台不仅可以类似普通文件系统对文件和目录的进行存取、创建、删除等操作,还能支持各种纠删码编解码容错机制、系统扩容以及系统重复数据删除等功能。该系统还可以为纠删码故障修复算法、重复数据删除技术以及系统磁盘扩容等算法提供实验验证平台和丰富的数据统计。
其他文献
二尖瓣是人体心脏中重要的瓣膜组织,它位于左房室口周缘,借助连于乳头肌的腱索的牵拉作用,在心脏压力与血液动力的综合作用下做周期性的启闭运动,保证心脏内部正常的血液循环
服务器前置方案是否具有可行性的关键之一,就是如何尽可能地发挥硬件潜能,提高单台视频服务器的性价比。目前视频服务器的主要性能瓶颈在于资源磁盘的带宽,尤其是在多线程环
物联网被称为继计算机和互联网之后的第三次信息技术革命。近年来,在世界经济多元发展的背景下,物联网技术正在加快转化为现实生产力,为全球带来新的数字经济浪潮。其中无线
当前,移动通信网络优化已成为移动通信行业发展的关键点。作为移动通信网络优化中重要的一个组成部分,移动通信的邻区优化的目的在于找到最优的通信小区的邻区关系,以保证移
云计算以其高可伸缩、高可靠、按需付费等特征,被业界广泛接受。越来越多的大型网络应用向云中迁移,开始以服务的形式供人使用。交付到云中的网络应用可以基于云资源按需地自
云计算是能够提供方便、按需网络来访问可配置计算资源的共享池的模型,它可以用最少的管理工作或者服务提供商的交互来快速配置和发布资源。软件即服务(Software as a Servic
近年来,随着P2P网络技术地不断发展,出现了大量基于P2P网络的应用软件。P2P流媒体服务作为P2P网络的一个主要应用,从出现开始,就一直受到广泛地关注。传统C/S模式下的流媒体
人脸基准点的自动提取是人脸跟踪、人脸识别、动画以及视频通信中至为关键的步骤,在现实应用中,如视频监控系统采集得到的人脸图像都是不同环境下的具有多种姿态变化的,而且
机器翻译(Machine Translation, MT)是利用电子计算机在不同语言之间实现翻译的一门实验性学科。随着互联网技术和机器翻译技术的发展,机器翻译在产品手册本地化、旅游会话和信
风能作为一种环保资源,得到了全球大部分国家越来越多的重视。风力发电作为绿色能源,近几年来得到了快速发展。风力发电机变桨系统是风力发电的重要设备,它的安全运行是风力发电系统高效稳定运行的重要保证。将可随时随地地访问获得各种信息的移动设备应用到监控风力发电机变桨系统上具有重要意义。本课题研究和设计了基于无线移动设备的风力发电机变桨系统电机的监视和控制系统,主要包括系统整体方案设计和相关软件的设计与实现