云存储环境下文件系统伸缩性研究

来源 :第18届全国信息存储技术学术会议 | 被引量 : 0次 | 上传用户:zhuav
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  云存储环境下为解决存储资源利用率问题,服务器端需动态为用户分配存储空间。本文致力于解决如何伸缩系统卷文件系统可识别大小。具体针对NTFS文件系统卷,重点介绍了NTFS文件系统关于容量管理的重要数据结构,设计并实现了根据用户申请的磁盘空间大小,自动伸缩系统卷的工具。实验表明:该工具能够在无数据损坏的前提下快速扩展或缩小系统卷文件系统识别的大小。
其他文献
海量小文件的高效存储和访问是当前分布式文件系统面临的主要挑战之一。本文系统地总结了当前流行的分布式文件系统在小文件处理方面所做的优化工作,分析了它们的优缺点,得出基于合并存储技术的分布式文件系统适合处理海量小文件的结论,并指出未来的三个提高数据访问性能的研究方向:1)体系结构优化,采用一致性DHT技术来组织数据服务器,消除元数据服务器访问开销;2)基于裸盘文件系统的随机均匀文件访问优化;3)基于S
分布式海量存储系统已成为当今海量信息存储一个典型的解决方案,而客户端元数据交互性能很容易成为这一方案的瓶颈所在。本文关注提高分布式系统客户端元数据交互的性能,提出了衡量元数据交互性能的公式及影响性能的两个要素:缓存命中率以及带宽利用率。接着分别分析了现存分布式文件系统是怎样针对这两个要素做优化,以提高客户端元数据交互性能。本文进一步提出了三档缓存方案以及用户自定义预取集的策略,在保证一致性的同时,
本文介绍了Lustre分布式文件系统的架构、主要组件以及LNET网络层,分析了客户端的初始化和连接建立,在此基础上,设计了Lustre分布式文件系统网络容错功能,提高了系统可用性,并提出统一配置,使得两套Infiniband网络负载均衡,从而获得更高的聚合带宽和整体性能。
Windows作为客户端操作系统的集群开始涌现,如何实现windows和linux异构系统共同对linux服务器的分布式文件系统访问?本文分析了windows和linux操作系统之间的一些差异,以及现有的实现异构访问的技术手段,主要是基于windows下用户层开发的IFS和CIFS两种协议。本文选取了基于ssh文件传输协议的sshfs做了初步的实验,并根据实验对下一步实现windows客户端的分布
对广域网上多个节点进行文件同步,因节点频繁的加入与离开使得直接的点对点同步不可行。对文件更新的发现,单一的采用基于状态比对和追踪文件变化过程都不可取,前者因频繁计算副本状态资源消耗过大,后者需要保存信息量会无限增长。在应用其它节点更新时,为获得更高的可用性,不能阻断用户对被同步文件的访问,从而引入了一种新的冲突类型。文中遵循乐观复制算法,采用星型结构连接副本节点,融合了状态和操作传输,实现了一个节
随着高性能计算机进入千万亿次时代,其存储系统所面临的扩展性难题更加突出,为了提高存储系统扩展性,一些高性能计算机使用了IO转发机制。该机制在全局存储和计算节点之间构建了一个转发层,计算节点的IO请求首先到达转发层,并由转发层在全局存储系统上执行。轻量级文件系统(Light Weight File System,LWFS)是一种适用于通用架构的转发系统,目前已经在神威蓝光计算机系统等多个高性能计算系
为了解决海量信息处理中实时访问中的“IO墙”的问题,提高海量信息分布式存储系统的性能问题,提出了一种基于HPC的存储部件新型访问策略。首先,分析传统访问模型存在的问题;其次,研究存储部件直通路模式的工作机理,建立存储系统分解为多层次、分布式的模型,根据不同的层次和映射策略实现存储空间物理地址、缓存地址、存储系统逻辑空间地址的连续映射;第三,分析直通路访问模式下的存储路径时间开销;第四,在模拟环境下
随着云计算技术的发展和广泛应用,如何解决数据的高效存储成为业界的一个研究重点。本文通过对现有的Linux Ext3文件系统的扩展,设计实现了一种重复数据删除方案,通过该方案可以为云计算用户,尤其是大规模使用虚拟机的用户降低云计算存储资源的使用。该重复数据删除技术方案通过测试验证,表明该解决方案可以为云计算时代的大规模虚拟机应用提供一种高效保障,为云计算的顺利推进起到保驾护航的作用。
为了适应峰值负载,大多数数据中心提供的资源都超过平均条件下需要资源很多,这导致了很多节点在大部分时间处于空闲状态,进而数据中心的能耗变得非常巨大。从数据中心的整个系统来说,关闭空闲节点可以节省大量的电力资源,降低数据中心的运营成本。本文在提出一个数据中心能耗模型的基础上,设计了一个可以动态调整资源使用的框架,可以大幅降低数据中心的能耗。
近年来,企业级私有云存储得到广泛应用,但其测试技术却发展滞后,国内还没有专门的组织和测试技术,可为企业级私有云存储提供准确而有效的测评依据。因此通过研究国内外现有的存储测试工具,以及企业级私有云存储的性能、安全、可靠性、可扩展性和功能测试方法,设计了一个基于Linux系统的分布式企业级私有云测试平台。从总体设计、功能模块、程序流程、负载参数、结果判定、实现的关键技术等方面对测试平台进行详细阐述。