对象存储系统中元数据管理研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:oldfly2005
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对象存储系统采用了一种新的接口——对象接口,有效综合了块接口的快速直接访问、存储设备可扩展的交换结构与文件接口的安全性、跨平台数据共享等优点,同时对象接口能够提供比其他任何一种接口更为丰富的语义,其基本单位是对象,对象除了包含用户数据外,还包含能描述对象特征的访问属性。   在大规模对象存储系统中,元数据访问非常频繁,是系统性能潜在的瓶颈,需要研究高性能、可扩展的元数据管理方法。在对象存储系统中,数据放置策略负责将文件映射为对象、为对象选择合适的对象存储设备存放,在需要访问对象时要快速定位到对象所在的对象存储设备,它对系统访问性能有关键性的影响,需要根据系统的规模选择合适的数据放置策略。另一方面,元数据服务器中的元数据记录了文件和目录信息与对象之间的关系,元数据的丢失将导致数据无法访问,因此元数据的可靠性维护至关重要。   提出一种分布式元数据管理方案,以提供高性能和可扩展的元数据访问。它采用仿层次目录结构,针对元数据的不同访问特性将元数据灵活分布在元数据服务器集群中。在深入分析传统文件系统中与用户组件部分相关的元数据组成结构的基础上,结合数据库能提供高事务吞吐量的特点,提出一种改进的元数据存储和管理方法,提高访问速度;在系统中不再用持久存储(如磁盘)来存储记录文件名到索引节点号映射关系的目录数据,而是采用一种间接的方案来模拟层次目录结构,避免层次目录结构自身成为热点,从而提供高性能、可扩展的元数据访问;引入目录转换元数据以避免子树分割方案中的目录遍历和哈希方案中的重命名目录导致的大量元数据迁移,提高元数据总体访问性能;针对每种元数据自身的访问特性,采用不同的分割方法将其分布在元数据服务器集群中,方便系统规模扩展。实验结果表明该方案在提高元数据访问性能和系统可扩展性方面有明显优势。   由于元数据访问负载随时间动态变化,元数据在元数据服务器集群中的静态分配可能会导致某一时刻某个元数据服务器成为访问瓶颈,为了在元数据服务器集群中提供高性能、可扩展的元数据服务,需要在元数据服务器之间均衡负载。提出一种以文件元数据请求的响应时间为衡量标准、应用于元数据服务器集群的负载均衡算法,使集群中所有元数据服务器的响应时间差别较小,达到元数据服务器集群的负载均衡,从而提高元数据服务器整体性能。   提出一种利用遗传算法根据文件的不同特性求解数据放置的策略,它用于在系统规模较小、对象存储设备总数固定的应用环境中寻求系统性能的近似最优解。提出基于组的区分定位策略,它用于在系统规模较大且对象存储设备总数可能发生变化的应用环境中解决对象放置问题。它首先根据对象存储设备加入系统的不同时期将每个对象存储设备划分到不同的存储子集群,先采用分布式算法将对象映射到系统的某个子集群中,再在子集群内部根据不同类型的对象采用不同的映射方法,对新创建的大对象采用启发式方法来选择负载较轻的对象存储设备存放,对小对象采用改进哈希算法来决定其所在的对象存储设备,兼顾了对象分布的灵活性和系统可扩展性。实验结果表明该策略具有很好的性能和可扩展性。其中改进哈希算法是基于子集群内对象存储设备规模的变化规律提出的一种新的分布式算法,它既能继承简单哈希算法的计算开销小和均匀分配对象的优点,又能以近似最优的对象迁移开销有效支持子集群内的对象存储设备规模的变化。   提出一种采用扩展属性页来提高元数据可靠性的方法,它利用对象存储系统富有表达力的对象接口来提高系统元数据可靠性,并采用Markov 模型对其可靠性进行分析。该方法不需要额外的硬件配置,且不排斥其他的提高存储系统元数据可靠性的方法,为提供更高的元数据可靠性提供了一种补充方案。
其他文献
随着网络规模的日益庞大和复杂化,如何提供有效的、高质量的信息传输服务,满足现代社会多元化的需求,是计算机网络服务质量保证的重点研究内容。文中运用随机网络演算理论中的随
数字图像恢复技术作为数字图像处理中的重要分支,被认为是适应数字化时代的一个有力支撑,并成为数字图像领域的一个研究热点。数字图像恢复技术是指在针对退化降质的图像,通过框
经过近五十年的发展,人脸识别技术已有了长足的进步,并成功应用到许多领域。但当一些如光照、表情、姿态等外界条件不理想时,算法性能下降较快。因此,如何降低这些干扰因素对
CRM (Customer Relationship Management,客户关系管理)可以泛指企业获得和维持可带来业务收益的用户群的各种技术平台,在国外已相当成熟,而在国内CRM行业还处于成长时期,随
手写体汉字识别在残疾人无障碍阅读、文献自动翻译、文献自动录入、金融单据的处理、快递包裹和信件的分拣等领域有着广阔的应用前景,帮助使用者自动录入文字,节省劳动力成本
随着社会的发展和科技的进步,人们的生活朝着数字化、智能化的方向发展,为满足人们日益增长的对现代科技成果的需求,智能小区随之兴起。但是在其发展过程中,设备和平台多样性
软件测试是软件工程学科的重要组成部分,在实际的软件开发过程中,软件测试所发挥的重要作用已得到软件开发人员的广泛认同。软件测试以发现软件中潜藏的缺陷和错误为目的,确
医学图像三维可视化是计算机可视化领域的一个重要研究分支,是当前研究的一个热点。医学图像三维可视化技术提供更多的诊断信息,辅助医生进行病情诊断和手术指导,提高了医疗
可重构计算是具备设计后芯片定制能力和能在很大程度上实现软件算法到硬件计算设备空间映射特点的计算机组织结构。作为一种新型的数字电路设计概念,可重构计算兼容了硬件计算
不确定数据广泛存在于文本分析、信息检索、传感器网络和射频识别等领域中。随着数据采集手段的发展,客观世界中普遍存在的数据不确定性已经逐渐被人们所认识。不确定数据查