空间信息服务云存储与管理机制的初步研究

来源 :成都理工大学 | 被引量 : 1次 | 上传用户:jieean
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
所谓云服务,是指利用计算机硬件技术、软件技术、信息安全技术、网络技术、空间信息技术、通信技术、虚拟化技术、集群技术和存储技术以及并行计算等技术,将大量分布在网络中的各种资源联合起来进行统一管理和调度,构成一个庞大的资源池以按需、易扩展的方式向用户提供服务。云服务有很多分类,根据云的服务方式不同,可以将其划分为公有云、私有云和混合云三类。按照体系结构可以划分为SaaS、PaaS和IaaS三种模型。除此之外,根据用户的使用可以将云服务划分为文件云、设备云和应用云三类。目前市面上云服务很多,但是与空间信息相结合的云服务很少。空间信息是指用来描述空间地理位置、空间实体分布特征及时间空间特性的信息。据不完全统计,在人类能获取的信息中,有超过80%的信息是与空间信息相关的信息。空间信息数据通常具有数据量大、种类繁多、结构复杂、专业性强、来源广泛和实时性强等特点。目前对于空间信息数据的存储和管理方面存在不足,缺乏对空间信息数据的快速感知能力,缺乏对海量空间信息数据的存储和管理机制,缺乏对空间信息数据的备份和灾难恢复机制,因此,提供空间信息服务云具有重大的意义。本文根据云服务现状,以G/S模式的理论体系、系统架构为理论依据,以相关课题和项目为依托,分析了空间信息数据的特点和空间信息服务云的的特点和需求,对比分析了主流的存储技术、并行计算技术和分布式计算技术,以当今既稳定又流行的开源分布式文件系统HDFS为基础,以分布式计算框架MapReduce为编程模型,研究了空间信息服务云的整体架构和内部的数据存储管理工作机制。本文主要取得了如下的成果:(1)研究了空间信息数据的特点,总结起来主要表现在海量、多源、异构和时空属性四个方面。(2)研究了空间信息服务云的具体需求,并结合这些需求对比研究了各种存储技术,包括RAID技术、FastDFS文件系统、MooseFS文件系统以及HDFS的架构特点和应用领域,对比了并行计算技术MPI和分布式计算框架MapReduce,选择了适合空间信息数据特点,满足空间信息服务云需求的HDFS文件系统和MapReduce编程框架为基础架构和编程模型。(3)研究了搭建空间信息服务云平台过程中预防主节点单点失效应该注意的问题和具体的配置方案。(4)根据用户访问系统数据的频度,通过增加系统日志文件的方法,编写了MapReduce应用程序去处理数据区别冗余问题,既增加了系统的实用性又节约了系统的存储成本和管理资源。(5)提出了一种具有空间信息数据特色的数据更新机制,是一种保留历史数据的增量更新机制。(6)最后对整个系统进行了相应的测试,理论结合实际,实验验证理论,便于通过具体的实验数据和实验方法来改进理论。并在此基础上做了以下创新:(1)提出了一种根据文件访问频度对数据进行区别冗余的机制。数据区别冗余是指根据数据的访问频度动态地去更改文件的冗余数,以求获得更好的文件访问性能和最省的磁盘空间。(2)提出了一种保留历史数据的空间信息数据增量更新机制。数据增量更新机制是根据空间信息数据特点设计的,用户可以通过对比分析历史数据和最新数据了解空间特征的变化过程。
其他文献
空间环境及其扰动不仅影响卫星、通讯系统、导航系统的正常运行,而且在载人航天工作中扮演着重要角色。预报空间环境的变化,已经成为人类进行航天活动的前提基础。空间环境预
为了借鉴国外成熟的技术更好的指导我国林业经营和管理决策,引进国外优秀的森林植被仿真软件系统非常必要。本文主要介绍了对美国森林植被仿真系统FVS进行中国化的实践方法和
目前,我国正面临着严重的人口出生缺陷数量增大的问题,因此,国家计划生育委员会开发了免费孕前优生健康检查系统,2010年的12月份,该系统已经开发完毕,现已经在全国100多个试
实践十号卫星是我国首颗空间微重力科学实验卫星,综合电控箱用于控制7台空间科学试验载荷(实验设备)的实验过程。空间科学实验对试验设备的要求很高,如果每一台设备都使用人
航天器电子设备是航天器的重要组成部分,其系统设计及设备制造需要耗费大量人力、物力成本,航天器电子设备具有伴随航天器发射后到被回收之前的不可维修性,使用地面测试系统