分布式文件系统海量小文件性能优化技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:rr2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网、大数据、云计算等领域的高速发展,全球数据量呈现出爆炸式地增长,给存储系统提出了非常大的挑战,分布式文件系统的出现给这些海量数据存储带来了解决方案。但是分布式文件系统仅仅对大文件操作有较高的性能,对日益增长的小文件应用场景,存在元数据服务器吞吐率低,客户端与服务器之间网络带宽利用率低等问题,系统的小文件性能较差。针对实验室自主研发的分布式文件系统Cappella,通过详细分析Cappella中小文件的访问流程,确定系统中小文件访问的主要耗时在对象存储服务器中的磁盘寻道。结合当前文件系统的现状,充分利用分布式文件系统中元数据服务器和对象存储服务器都是集群这一特点,提出了对小文件的存储位置进行优化等一系列的小文件访问优化方案,改善了小文件的访问性能。该方案首先精简了小文件复杂的访问流程,减少了小文件访问过程中的网络开销;将小文件数据和元数据聚合存储在元数据服务器,减少了小文件访问过程中的磁盘访问次数;优化了小文件访问过程中冗长的I/O路径,并采取数据批量刷回策略,提高小文件写性能;在客户端缓存小文件,并通过回调机制保证多客户端并发访问的一致性。使用Mdtest对优化前后的分布式文件系统Cappella以及Lustre文件系统进行元数据吞吐量测试,使用Postmark进行文件的读写测试和小文件并发测试,使用IOzone进行大文件读写测试。测试结果表明,测试小文件时元数据吞吐量有较大提升,大约提升一倍;测试文件全部是小文件时系统读性能有较大提升,约为36.26%~100.80%;写性能也有较大提升,约为36.03%~100.93%;测试数据全部是大文件时读写性能也能有较小的性能提升;对比Lustre文件系统小文件读写性能均有一定提升;Cappella优化前后大文件读写性能同样有一定的提升。
其他文献
传统的通过帐号密码或者各种钥匙物件难以应付当前各类身份安全认证泄漏或者盗用事件的发生,生物特征识别技术则不会存在这样的问题。当前人脸、指纹等识别技术都被逐渐的运
目的:评价呼出气一氧化氮(FeNO)测定在咳嗽变异性哮喘患者分层管理中的应用价值。方法:根据治疗前的FeNO值将80例咳嗽变异性哮喘患者均分为两组:A组FeNO≥50 ppb;B组FeN0
目的:通过检测α-硫辛酸(α-LA)对帕金森病(PD)模型大鼠黑质(SN)以及PD细胞模型中膜铁转运蛋白1(FP1)、铁调节蛋白1(IRP1)和铁调节蛋白2(IRP2)表达的影响,探讨α-LA在PD模型
目的探讨淋巴瘤的细胞学特点及其临床诊断提示作用。以病理学诊断为金标准,分析细胞学检查的辅助诊断作用。本文将从细胞形态学角度进行分析,提高临床对恶性淋巴瘤的阳性诊断
随着工业的迅速发展,水污染成为一个越来越严重的问题。废水中的有机污染物的含量与种类越来越多,给人类的生存带来了严重的威胁。含酚废水的危害也越来越受到人们的关注。目
浩业乙供电区域经济建设发展速度快,负荷需求量日益增加。为满足该地区生产生活及发展需要,拟建设浩业乙66KV变电站。浩业乙66KV变电站工程站址选于盘锦市盘山县,交通便利,用
背景和目的通过比较多发肝细胞癌病人接受肝切除术或TACE治疗后的远期生存率及治疗相关并发症发生率,探讨肝切除术与TACE对于多发性肝细胞癌治疗的有效性及安全性,从而为临床
移动互联网的快速发展使得移动设备的普及率不断提高,人们对以智能手机为代表的移动设备的性能需求也随之提升,其中对于主存的更快速度、更大容量的需求给智能手机主存系统带
近些年,随着我国经济的高速发展,城市汽车数量的大量增加,交通管理面临着越来越大的压力,迫切要求建立一套智能、高效的交通管理系统。车牌识别系统的出现有效地缓解了这一压
国家权力与村民自治的"共栖"是精准扶贫背景下国家权力以项目资源和官员下派等方式整合进入乡村带来的乡村社会治理变化。本文从"国家中心""社会中心""社会中的国家"三个视角