混合型分布式存储系统中的存储策略研究与实现

来源 :东南大学 | 被引量 : 3次 | 上传用户:ziyoucunzai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着航天事业的不断发展,人造卫星的发射数量急剧增加。人造卫星不断地对地球和太空环境进行探测和监控,产生海量数据。现有的卫星数据存储系统需要将卫星数据发回地面站进行存储和处理,通信效率和实时性低,不能满足日益增长的数据存储和处理需要。卫星收集到的数据数量庞大、形式多样且包含多种结构,需要运用多个存储系统进行分别存储,操作十分复杂。因此需要建立一个高轨道卫星集群存储系统,在星上进行分布式数据存储,混合存储各类不同的数据,为星上应用提供统一的数据服务。本文基于对现有各类存储系统的研究,提出了混合型分布式存储系统,结合关系型数据库、非关系型数据库、分布式文件系统等多种存储形式,对结构化、半结构化和非结构化的数据进行统一的操作。设计混合存储管理模型,通过数据类型服务端对不同数据结构的各个数据类型进行存储,对上层应用提供统一的客户端接口用于进行数据操作。混合存储管理模型作为各类存储系统与上层应用之间的中间层,在客户端接口与实际各个存储系统接口之间进行转换,提供与多个存储系统等效的数据服务。分布式文件系统通过副本技术为数据进行冗余备份,提高容错性并平衡负载。根据研究文件数据的读取会有冷热之分,现有副本策略不能很好利用文件热度的特性,对存储空间消耗过大,不适用于卫星环境。本文进行了动态副本存储策略的设计,通过数据观测周期内的读取频率对文件的热度进行区分,并根据文件的热度动态调整文件的副本个数。针对卫星环境下卫星站点间通信速度低于卫星站点内通信速度的特征,考虑节点间距离和负载的影响,设计了副本位置选择策略。本文结合关系型数据库MySQL、非关系型数据库MongoDB和分布式文件系统HDFS设计并实现了混合型分布式存储系统的原型系统,验证了其与各个存储系统之间的等效性,进行了功能测试。基于HDFS实现了动态副本策略,通过真机实验和仿真实验,验证了本文策略与HDFS静态策略和Scarlett动态策略相比,能够在占用更少存储空间的前提下,提高文件的读取速度。
其他文献
资金是企业运转的“血液”,具有引导和配置其他资源的作用,企业要进行正常的生产经营,首先面临的就是融资选择问题。然而,资金紧缺、融资难一直是阻碍中小高新技术企业发展壮大的
治和管的区别在于,治更强调对一般性规律的遵从,更强调对技术手段的运用,在企业治理中,这正是法律思维的确立带来的影响。因此,从企业管理,到企业治理的转变,体现的正是依法
目的观察健脾益肾、祛瘀泄浊法治疗糖尿病肾病Ⅳ期的临床疗效及对患者血清TGF-β/Smad信号通路的影响。方法本研究选取80例糖尿病肾病患者,随机分为对照组、治疗组各40例,采
目的研究不同浓度雄激素对体外培养的人黄素化颗粒细胞中PTEN表达的影响,探讨雄激素引起颗粒细胞凋亡的可能机制,为多囊卵巢综合征的发病机制提供新的研究思路。方法收集2011
针对某高铁铜矿考察了原矿性质,并根据原矿性质特点进行选矿试验研究,分别进行了优先浮选和混合浮选两种方案的试验,优先浮选试验得到铜精矿品位为22.21%,回收率为95.47%。混合浮选中
土地权益是农村妇女非常重要的经济权益,但受侵害的现象随处可见,尤其是“出嫁女”,在我国农村长期的传统男权文化和婚居习俗影响下更易被剥夺土地权益,这一群体要求公正平等的诉
目的:检测不同周龄肥胖及正常小鼠下丘脑组神经肽Y(neuropeptide Y,NPY)、刺鼠相关蛋白(Agouti—related protein,AGRP) mRNA及蛋白的表达以及血浆瘦素水平,比较肥胖小鼠及正
药物-小分子复合物,包括共晶和共无定形,是药物活性成分(active pharmaceutical ingredient,API)和共晶前体(co-crystal former,CCF)及共无定形前体(co-amorphous former,CAF
随着社会的发展和精神层面对艺术人才的需要,音乐艺术人才教育日益受到人们的关注。国外的高等音乐艺术人才教育经过历史的祭奠,其招生考试管理形成了特有的模式,相比之下,我