基于Amazon S3 API的分布式对象存储系统设计与实现

来源 :李敏达 | 被引量 : 0次 | 上传用户:loganmax
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,海量数据的处理与存储是学术界与工业界研究与探索的热门领域。数据处理与存储相关的基础设施得到了极大的发展,衍生出了丰富的细分领域,为各种不同的使用场景提供了有针对性优化的解决方案。公有云提供的对象存储服务是目前实现大规模非结构化数据存储最便捷的方式,但企业对敏感数据存储及其它场景的需求推动了私有云/混合云的兴起,同时也产生了对自托管的对象存储系统的需求。论文设计并实现了一种对象存储系统,用于满足信息技术企业对可靠、可扩展的非结构化数据存储的需求。该系统为应用程序提供简洁的接口抽象,简化应用程序存取数据的逻辑。接口采用了与现今广泛使用的公有云对象存储服务Amazon S3相近的接口设计,具有良好的兼容性,降低了应用程序的接入成本。该系统采用用户空间、存储区和对象的三层逻辑模型,模型扁平的结构降低了系统的复杂度。在架构设计上,该系统遵循逻辑与存储分离的原则,将对象存储逻辑的处理、对象元数据存储、对象数据存储相互分离,降低了系统内部的耦合度,提升了系统架构的灵活性。使用基于哈希摘要值的方法来标识对象数据,建立对象到对象数据之间的映射,同时也提供了数据完整性校验机制,提高了存储的可靠性。论文还提供了一种基于文件系统的对象数据存储实现,它通过分区将数据分布到多机集群环境中实现了存储的扩展性,又通过分区的副本提高了服务的可用性。论文设计和实现的系统通过分布式无共享架构实现了系统的扩展性和可靠性,可以部署在企业的私有云/混合云上,不仅控制了成本,还满足了企业对敏感数据自主控制及低时延场景等需求,可作为企业自托管云环境中的对象存储解决方案。
其他文献
本着问题导向、效益提升的档案管理原则,国有企业在数字化时代亟须推动档案管理模式的优化升级,以技术替代人工,全面提升档案管理效率。本文以国有大型公交企业为例,深入探究档案管理模式的优化方案。
目的 探讨不同热暴露方式对自发性高血压大鼠胸主动脉血管损伤的影响及其机制。方法 选用自发性高血压大鼠(SHR),构建热暴露大鼠模型,分为对照组SHR-CN(n=9,饲养在24℃室温下),间断性热暴露组SHR-8(n=9,每天接受任意连续8 h热暴露,其余时间饲养在与对照组相同的条件下)和持续性热暴露组SHR-24(n=9,持续暴露在32℃高温下)。进行自噬和通路干预的SHRs,分别于热暴露前30
激励机制始终是促进公务员干事创业、推动社会发展的有力保障。当前,公务员队伍的积极性总体是高的,但党的十八大以来,从严治吏和“为官不易”日渐成为公务员管理的新常态。一些潜规则逐渐被打破,一些不正当的利益刺激没有了。在公务员队伍风气大为改善的同时,也出现了不作为、不担责的消极苗头,甚至出现少数公务员信念动摇、状态低迷、作风漂浮,积极性和主动性都很有欠缺,从严治吏和干部激励似乎正在形成一对非此即彼、你伸
目的探讨心理护理在急性心肌梗死介入治疗患者中的应用效果。方法选取本院2019年12月~2020年12月收治的89例急性心肌梗死介入治疗患者为研究对象,按照随机数字表法分为研究组45例和对照组44例,两组患者均使用相同的治疗方式和护理内容,但对研究组患者增加心理护理干预,经过治疗和护理后对两组急性心肌梗死介入治疗患者的治疗效果、焦虑和抑郁情绪、治疗依从性进行对比和分析。结果对两组患者治疗和护理后,对
<正>本研究在玉米-豆粕和小麦-豆粕基础上,探讨添加外源性消化酶、非淀粉多糖酶(NSP)和复合酶对仔猪胰脏和小肠内胰蛋白酶活力的影响。试验从体况相似、胎次接近(2~4胎)的长×大杂母猪中选择分娩时间在2d内仔猪42窝,随机分成7组,即A、B、C、D、E、F、G组,每组3个重复。其中, A组饲喂玉米.全脂大豆基础日粮,B、C组分别饲喂玉米.全脂大豆基础日粮+消化酶(α-淀粉酶5500U/kg 饲粮、
目的探析肝癌介入治疗患者接受系统化护理,对患者的干预效果及生活质量的影响。方法于2018年1月~2020年12月开展本次研究,将本院收治的64例肝癌患者均分为两组,32例采取常规护理患者为对照组,32例采取系统化护理患者为观察组。对比两组患者肝功、生活质量差异、心理状态改善情况及视觉模拟量表(VAS)评分。结果患者经干预,相比于对照组,观察组丙氨酸氨基转移酶(ALT)、天门冬氨酸氨基转移酶(AST
随着云计算、大数据、物联网等技术的高速发展,全球信息数据量急速膨胀,将数据存储在云端成为一种必然趋势。云存储就是在其上拓展出的新型网络存储技术,拥有扩展性强、性价比高、可维护性好的特性。但是当前云存储的数据安全问题仍旧是一大挑战,用户需要面对作为数据管理者的云服务商可能会主动或者被动地泄露用户隐私数据的双重风险。因此在云存储服务商不可信风险条件下,针对云端存储的文件数据进行了分割加密传输技术的安全
心电图是诊断和预防心律失常和心肌梗死等严重心血管疾病的重要参考,通过观察心电图的波形变化情况,结合临床可以诊断出相关的心血管疾病,我国医疗资源紧张,需诊断的心电图数据体量巨大。随着深度学习算法和医疗数据结合应用的研究日益成熟,深度学习的算法模型可以对心电信号等医疗数据进行预处理后分类和分析研究,是一种辅助性的诊断方法,可以减轻医生诊断的压力。针对深度学习算法模型的心律失常分类,本文研究以深度残差收
目的:了解大学生全谷物知识、态度、行为(KAP)现状及影响因素,为合理指导大学生饮食行为提供科学依据。方法:自行设计问卷,采用分层取整群抽样方法,通过“问卷星”平台,对新疆某医学院校大学生对全谷物KAP现状进行调查,并对结果进行分析。结果:共收取有效问卷804份,结果显示,调查学生对全谷物及其制品相关知识知晓率从39.6%~87.4%,平均为67.2%,略偏低。绝大多数学生对全谷物及其制品态度积极
习近平总书记在中共十九大报告中指出,文艺创作必须坚持以人民为中心的创作导向,在现今各种艺术门类相容融互通,各种表现形式交叉融合的大趋势下,运用戏剧艺术的行动理论指导舞蹈编创,能够深入挖掘出人民主题的内在价值意义。当下岭南舞蹈作品日渐丰富,其风格主题与表现特征可谓包罗万象,其中,叙事性舞蹈与岭南舞蹈之间相互交织,叙事性与戏剧性又有着千丝万缕的联系,因此,运用戏剧这门交叉学科的思维方式,对叙事性岭南舞