达梦数据库块级压缩方案的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:zgb99
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据库压缩是最近几年提出的用于提升关系型数据库性能的一项新技术。数据库压缩技术将关系数据库进行压缩存储,不仅节约了磁盘的空间占用量,并且更多的数据记录被压缩存放入同一数据块中,使得压缩数据库系统中一次I/O 操作读取的记录数目变得更多,读取整个数据库数据表所需要的I/O 操作也变得相对较少,对于那些存储有大量数据记录的数据仓库系统而言可以获得较大的性能提升。   通过对达梦数据库(Dameng Database)数据块格式、数据记录格式、传统数据压缩算法以及属性、元组、数据块、数据表四种不同粒度压缩方案的深入研究,达梦数据库的压缩方案最后选定在数据块级进行实施。   在块级压缩方案的详细设计中,重点设计了压缩属性词条的格式、块内属性词典区的组织形式与压缩属性标记方式,并对数据块级压缩算法的可行性、解压缩时机的选择、压缩算法执行过程、压缩率的形式化证明等相关问题进行了详细论证。   在压缩后的数据块上进行的数据库操作方面,采用数据块级压缩方案后,对传统的数据库操作会产生较大的影响,针对复杂的、不必要的和频繁的解压操作可能会吞噬掉数据库系统采用压缩方案后所获得的收益这一情况设计了拖延式加解压缩模型思想,并设计了针对数据块级压缩方案查询,插入,删除,更新等操作的具体算法,并对操作的执行效率进行了深入分析。   最后对数据块级压缩算法以及压缩数据块上查询,插入,删除,更新等数据库操作设计了仿真程序。压缩率测试的实验表明,数据块级压缩算法可以获得较好的压缩率,并且随着数据块大小的增加,单块压缩率可以获得进一步提升;查询操作的实验表明,由于I/O 次数的减少,压缩数据库系统的查询效率可以获得较大提升;插入、更新、删除操作的实验表明,如果需要维护数据块的压缩性,重构压缩数据块时会存在一定的性能损失。
其他文献
学位
无线ad hoc网络的发展为建筑行业和消防系统提供了有力的技术支持。Ad hoc网络是自组织网络,并且很好的支持网络中节点的移动性。因此项目组针对应用于建筑行业和消防系统的
基于内容的图像检索技术已得到了广泛的应用,但目前出现的基于内容的图像检索系统,多数只适用于某特定的应用领域,缺乏通用且具有实用性的图像检索系统。因此,在国产达梦数据
XML是标准的通用标记语言,它的半结构化特性、良好的可扩展性、自描述等特性,使它成为数据交换事实上的标准。XML的查询语言主要有XPath和XQuery两种。 传统的数据处理方式
数据挖掘技术在利用海量数据进行知识发现、决策支持等方面具有其他技术不可比拟的优势。目前,利用数据挖掘技术进行股票走势分析等方面的研究与应用已经比较成熟,与股票市场一
通常情况下用户请求分为数据请求和元数据请求。虽然元数据很小,但是在存储系统的操作中,元数据操作占50%到80%。因此,元数据的高效管理非常重要。而随着存储体系规模的增大
无纸化考试是指利用计算机完成试题库的建立和管理、选题组卷、上机考试和阅卷评分等各个考试环节的活动,可有效地解决传统考试模式中存在的效率低下、试题质量难以控制以及
代谢流量分析是代谢工程中的重要工具,主要包括计量和碳标记实验两大方法,目的是对稳态情况下的生物体体内代谢途径中的物质流量进行定量分析,获得生物系统的代谢通量、代谢能力
随着各类数字终端、服务器、网络带宽等资源持续保持类摩尔定律式的增长,通过更直接的共享方式来提高沟通效率将为信息社会带来新一轮的发展浪潮。P2P(Peer to Peer,点对点)网
数字化乳腺X线摄片通常其大小为40Mb左右,很大程度上妨碍了远程诊断和计算机辅助诊断的发展。为了便于存档与通信及计算机辅助诊断,亟需一种有效降低存储和传输开销的数字编