无共享的关系型内存数据库的数据分区优化方法研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:shhgay
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现代在线事务处理(Online Transaction Processing,OLTP)应用对于数据库可拓展性和事务ACID属性的要求,催生出了无共享的分布式内存数据库管理系统(Sharednothing Distributed In-memory DBMS)。此类DBMS由于使用了无共享架构将数据分布在多个分区,在完成事务时可能会从多个分区访问数据,从而产生分布式事务(Distributed Transaction)。分布式事务由于需要DBMS使用开销巨大的网络通信来进行跨分区协调处理,对此类DBMS性能有着巨大的影响。为了从减少分布式事务的角度来优化此类DBMS性能,学术界中提出了许多基于分区的解决方案。这些解决方案通过对此类DBMS中数据的共同访问关系(Co-accessed Relationship)建模成图并分析,将数据元组合理地划分到各个分区,给出新的数据分区方案,使得大部分具有共同访问关系的数据被放置在相同的分区,从而减少分布式事务的数量以提升此类DBMS的性能。除了减少分布式事务数量,由于此类DBMS及OLTP工作负载的固有特点,要使得新的分区方案对于此类DBMS性能有着更好的提升,该类解决方案及其产生的分区方案需要满足额外的要求。这些要求包括OLTP负载变化带来的对于解决方案时间消耗的要求,对于分区方案负载平衡的要求,以及共同访问关系中的社区结构(Community Structure)带来的对于解决方案分析数据量的要求和解决“C平衡社区问题”的要求。目前能为此类DBMS性能带来良好提升的解决方案之一Commgraph,使用了细粒度的图建模方式,通过对图进行社区发现(Community Detection),然后再将发现的社区放置到分区中,从而产生分区方案的方法,减少了大量的分布式事务,并满足了分区方案负载平衡的要求以及社区结构带来的要求。然而本文通过进一步的研究发现,Commgraph对于数据进行的过于细粒度的建模与分析会导致当DBMS中数据量较大时,其产生分区方案的时间过长,从而无法满足解决方案时间消耗的要求。此外本文提出,Commgraph的社区放置模块上存在“小社区分区占用”问题。由于原始的Commgraph在进行社区放置时,仅仅只考虑是否能将社区放置在当前分区中,而不考虑之前的分区是否也能装下该社区,导致较小的分区没有合理的被分配到分区中,并占用额外的分区,导致产生的分区方案中分区资源的浪费。本文主要针对Commgraph解决方案时间消耗过长的问题和其放置模块带来的小社区分区占用问题进行了研究,基于Commgraph解决方案进行了两项改进。其一是对Commgraph的社区放置模块进行了分析与改进,在不影响Commgraph优化效果的前提下减少了分区方案中使用分区的数量,节约了使用Commgraph进行分区优化后DBMS运行时的资源消耗。其二是提出了名为ACTDP的图压缩工具,通过点聚合的方法对共同访问关系图进行压缩,为Commgraph提供压缩后的关系图从而大幅减少其时间消耗,使得Commgraph能够快速的完成分区方案的生成,满足OLTP负载变化带来的对于解决方案时间消耗的要求。最后,本文对两项改进的效果进行了详细的测试和验证。通过对社区放置模块的测试,本文证明了对于Commgraph社区放置模块的改进比起原始的Commgraph社区放置模块,能在不降低Commgraph对于DBMS优化效果的同时,使得Commgraph的分区方案使用相同或者更少的分区数量。而通过对于ACTDP工具的测试,本文证明了使用ACTDP之后的Commgraph产生分区方案的耗时能大幅下降,并且数据量越多下降越明显。在数据库中有100万个元组的测试条件下其耗时相较于原Commgraph下降了约80%,同时使用该分区方案对DBMS进行优化时吞吐量仅下降了约15%。因此,本文提出的对Commgraph的两项改进能解决Commgraph的小社区分区占用问题和耗时过长的问题,对此类DBMS拥有大量数据时进行分区优化具有重大的意义。
其他文献
随着高速铁路时代的来临,全国各大高职院校纷纷开设动车乘务专业。化妆技巧与形象塑造课程是当前动车乘务专业普遍开设的一门必修课,它对学生的职业形象塑造具有非常重要的意义
本篇论文分析了巴音郭楞职业技术学院学生社团建设的整体现状,存在的问题与困难,在此基础上,根据多元智能理论,提出了加强我院学生社团建设的措施。
【摘 要】网络信息技术的不断进步有效推动了我国高校的数字化进程,如今网络建设程度已经成为了衡量高校发展水平的重要因素。为了营造出一个现代化的教学研究环境、提高教学质量、打造良好的思想交流平台,许多高校将数字化建设的重点放在了作为知识汇集地的图书馆上,而与互联网接轨的图书馆也成功的在校园中建立起了强大的舆论引导系统。但是目前这一舆论体系尚不完善,高校图书馆在文化的传播和舆论导向控制方面的工作仍存在许
摘 要:与三十年前的课堂教学进行对比,可以发现无论是教师还是学生,汉字书写水平都明显地降低了。本文针对小学语文与汉字书写教学的现存问题进行分析,然后在教学方面,对学校和教师提出一些切实可行的改进措施。  关键词:小学语文;汉字书写教学;传统文化  汉字的书写在行使基本功能的同时,还是一种内在修养的体现。在书写的过程中,能够提升书写人的个人修养。同时,汉字的书写代表了一种文化认同,无论是繁体字还是简
酚醛树脂(PF)具有优异的防腐、阻燃、绝缘等性能,但用于特殊环境下如核动力舰艇装备的表面防护,还须对其进行必要的功能化改性。石墨烯作为一种新型的二维纳米材料,具备特异
一、范围界定$$ 大致包括法国普罗旺斯-阿尔卑斯-蓝色海岸大区(Provence-Alpes-Cote d’Azur)的阿维尼翁(Avignon)、马赛(Marseille)、尼斯(Nice)、戛纳(Cannes)、摩纳哥(
报纸
残余应力问题是激光熔覆增材制造及再制造大规模商业化应用最亟待解决的问题之一。激光熔覆过程剧烈的温度场演化必然伴随应力、应变演化,导致零件产生较高的残余应力,残余应
体能训练是射击运动员的一项基础训练,对射击运动员射击能力的提高具有重要的作用,因而在进行射击训练的过程中射击教练要重视对运动员的体能训练,以保证运动员体能素质的提高,进
针对当前高校机关作风建设存在的突出问题,分析影响高校机关作风的主要原因,以“三严三实”的观点,提出构建高校机关作风建设的长效机制。
随着物质生活水平的不断提高,人们逐渐注重对音乐、艺术等精神领域的追求,这就促进了高职院校音乐教学的不断改革与创新。本文针对非艺术类高职院校的音乐教育现状进行了分析,并