【摘 要】
:
大数据时代,数据规模急剧膨胀,巨大的存储压力导致分布式存储系统中节点失效状况频发,容错存储是一种保障数据可靠性的重要手段。目前,容错技术主要包括副本技术和纠删码技术,纠删码因其具有与副本相同的容错能力,且低于副本的存储开销而受到广泛关注。但现有纠删码的串行编解码算法瓶颈明显,不能合理利用系统资源,导致纠删码整体效率较低。且现有的多失效节点数据重构过程需要传输大量的数据,网络资源消耗较大,成为限制纠
论文部分内容阅读
大数据时代,数据规模急剧膨胀,巨大的存储压力导致分布式存储系统中节点失效状况频发,容错存储是一种保障数据可靠性的重要手段。目前,容错技术主要包括副本技术和纠删码技术,纠删码因其具有与副本相同的容错能力,且低于副本的存储开销而受到广泛关注。但现有纠删码的串行编解码算法瓶颈明显,不能合理利用系统资源,导致纠删码整体效率较低。且现有的多失效节点数据重构过程需要传输大量的数据,网络资源消耗较大,成为限制纠删码性能提升的主要因素。针对上述问题,本文通过研究编解码技术与重构过程算法,提出相应的改进方案,以此优化容错存储系统中数据的重构效率。论文的主要工作包括以下两个部分:(1)提出一种基于缓存队列的并行编解码算法PEDACQ(Parallel Encoding and Decoding Algorithm based on Cache Queue)。该算法针对串行编解码过程中并行化程度不高、I/O瓶颈限制编码效率等问题,通过维护读取缓存队列与写入缓存队列,并利用多线程技术,尽可能降低I/O瓶颈的影响,以提高编码计算的效率,进而加速编解码过程。最后通过实验与传统串行编解码方法对比,结果表明该算法具有较高的编解码速率。(2)提出一种基于网络拓扑的并行重构方法PRNT(Parallel Reconstruction based on Network Topology)。该方法针对多节点失效情况下,数据重构导致网络资源开销较大的问题,首先构建并行重构集合,判断每个失效节点所属的数据对象是否相同,将来自不同数据对象的失效节点加入到集合中,以保证集合中节点重构的并行度最大;然后针对集合中的每个失效节点,依据节点间的网络距离,提出一种基于网络拓扑的最优重构树算法。该算法首先以新生节点为根节点,存活节点为供应节点构建最小重构树,并基于再生码的思想,将尽可能多的供应节点加入到重构树中来降低传输数据总量,从而提高重构效率。实验通过与传统星型和树型重构方法进行对比,结果表明该方法有较低的重构时间,较高的重构成功率和数据可用性。
其他文献
车联网作为物联网在交通运输领域的扩展,可以为交通管理人员和驾驶员提供更具体的路况,交通和娱乐信息,从而极大地便利了车辆管理和路线规划,实现节能减排,确保行车安全,提升社会交通服务的智能化水平。随着车联网的不断普及,用户远程访问车辆数据时会引起大量敏感数据的传输,所以车联网系统应采用认证和密钥协商(Authentication and Key Agreement,AKA)协议确保用户的真实性,保证数
深海蕴藏着约75%的原核生物量,占全球海洋原核生物生产力的一半以上,是生物圈中有机碳再矿化和长期储存的重要场所。过去几十年,科学家已经对深海多种特殊生境(例如:深海海山、热液喷口和冷泉)开展了较大量的研究工作,取得了很多重要进展。然而,由于调查技术的限制,人类对深海中深度超过6000 m的深渊区仍缺乏认识,使其成为目前地球上人类了解最少的海洋环境。已开展的少量研究显示,深渊海沟沉积物具有远超普通深
近些年,随着社会经济的飞速发展和人民对生活质量要求的不断提高,汽车保有量随之呈“井喷”式增长,这给人们的出行带来方便舒适的同时也带来了一系列交通安全问题。面对交通事故造成生命及财产严重损失的趋势,跟随大数据时代的步伐,构建一个道路交通安全态势研判专家系统,使其能够在海量数据充分挖掘的基础上建立全面反映当前道路交通安全态势的指标体系及选择合适的评价方法,客观评价当前道路存在的问题,提出改善措施,减少
税务机关是政府部门的重要组成部分,担负着组织国家税收和调节社会经济的重要职能。随着社会经济的飞速发展,纳税服务已经成为税收工作中非常重要的一个环节。实际工作中,纳税人对税务机关提供的纳税服务褒贬不一,还存在着“工作人员不照章办事”“办税等待时间太长”“办事效率太差”等声音。从L区税务局提升纳税服务满意度角度,进行实证分析和探讨,可以让纳税人享受更快捷、更经济、更规范的服务,提升纳税人获得感、满意度
近年来,随着人们生活水平的提高,旅游产业与文化产业等服务行业开始繁荣发展,为了给旅游产业与文化产业发展提供足够大的动力,国家推出了文化和旅游产业融合发展战略,以此促进文旅产业共同发展。虽然文旅产业融合工作已有了相当大的进展,但是在该工作中还是存在一些问题,为了方便政府有针对性性的制定政策和调整战略,本文研究了文旅产业融合度分析的关键技术。为了研究文旅产业融合度,本文站在了游客角度上构建了测算文旅产
互联网技术的快速发展对人们的购物模式带来了很大的影响,网络购物成为了越来越多消费者的选择,因此产生的电子化数据规模也急剧增长,这些看似杂乱无章的信息中潜藏着无数的商机。从上世纪末开始,如何挖掘到这些隐藏的、有价值的信息就成为了学者们争相研究的重点。相应的,电商平台作为互联网的新兴产物,如果想要跟紧时代信息时代的步伐,通过关注顾客的消费体验来了解消费者的关注点以及影响消费者评论的关键影响因素,就要不
非线性系统的研究一直以来都是最受科学界关注的重点,但由于起步较晚,目前的研究大部分还是针对整数阶无时滞的混沌系统,对于分数阶系统的研究才刚刚开始,尤其是包含时滞项的
随着区块链技术的不断发展,应用区块链技术的领域越来越多,但区块链技术在学业履历存证和共享业务领域的应用还处在较为欠缺的阶段。随着数据量的不断增加现有的使用区块链技术的学业履历系统在履历存证过程中往往会出现效率低、可靠性差的情况;而在履历共享过程中又会出现安全性和共享针对性差的问题。本文依托区块链技术,立足于解决当前履历存证共享过程中出现的问题,提出了基于联合数据分片算法的区块链存证模型和一种学业履
目前国内对于大型钢结构件的喷砂作业主要以人工操作为主,人工喷砂效率低,喷砂质量差、尤其是对操作工人的健康会产生严重影响,因此采用自动化、智能化的机器人代替人进行喷砂作业将成为未来喷砂行业的主要发展趋势。本文主要针对大型钢结构件的机器人自动化喷砂作业,开展了控制系统的研究工作,具体内容包括:多移动式喷砂机器人控制系统设计、多移动式喷砂机器人任务分配研究、移动式喷砂机器人路径规划研究。首先,完成了多移
图像属性预测是计算机视觉领域的基础任务之一。早期的图像属性预测大多是基于人工设计的特征,但视觉图像与属性之间的语义鸿沟问题导致其预测效果不尽如人意。随着深度学习技术的快速发展,利用深度网络提取的深度特征来进行图像属性预测成为学术界的研究热点。本文围绕图像的多语义属性预测开展研究,提出了三个深度神经网络模型,提升了图像多属性预测的准确性。本文的主要工作与创新点如下:(1)提出了一种基于注意力机制的双