基于混合架构的海量数据存储系统的研究与实现

被引量 : 1次 | 上传用户:BELINDA_FEN
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息技术的发展推动着数据中心市场规模的不断扩大,节约能源消耗已经成为数据中心运营机构迫切需要解决的问题。数据中心能源监控系统主要负责动力环境以及IT设备实时运行状态的监控及分析,数据中心运行过程中会持续不断的产生大规模日志数据,因此海量能耗数据的存储成为了构建高效的数据中心能源监控系统的核心问题。数据中心能源监控系统不仅需要提供对能源消耗数据的多维分析与展示等强大的数据统计分析功能,同时还要求能源监控系统中的数据存储系统具备高可用性、高可扩展性。传统的数据存储解决方案主要采用关系型数据库,关系型数据库具有强大的数据存储与分析能力,不仅支持数据的顺序扫描、随机读写同时具有强大的索引功能。与传统的关系型数据库不同,HBase属于NoSQL中面向列存储的分布式数据库,主要优势在于强大的并行计算能力、高可扩展性。本文分别针对传统关系型数据库以及NoSQL数据库的数据存储特性进行了深入的研究与分析,同时结合Hadoop平台高可靠性、高可扩展性的数据存储及处理能力设计并实现了一种基于MySQL关系型数据库和HBase分布式数据库的混合架构的海量能耗数据存储系统。该系统中基于Hadoop实现了海量能耗数据的并行处理,基于HBase和MySQL数据库实现了高效的海量能耗数据结构化存储。本文搭建了Hadoop实验平台,并对HBase以及MySQL的数据存储及访问进行了详细的性能测试及结果分析。实验结果表明,基于混合架构的海量数据存储系统不仅具有高可靠性、高可扩展性,同时具有高效的数据存储及访问性能。
其他文献
黄水是浓香型白酒生产的副产物,其加工应用一直是白酒界的研究热点。通过黄水的感官评价来判断酒醅的发酵情况是评判白酒固态发酵质量的一个传统方法。黄水感官评价的3个主要
高校校园传媒作为大学生思想政治教育的重要载体,在传递思想政治教育信息、传承先进文化、引导正确舆论、塑造大学生良好人格中发挥着重要作用。笔者通过对重庆市主城范围内
随着我国经济的不断发展,企业会计制度也在不断地完善,会计利润和应税所得等会计内容需要更加清晰的界定。本文将会计利润定义为对企业一段时期经营成果的反映。考核企业业绩
许昌县污水处理厂采用改良型卡鲁塞尔2000氧化沟工艺,深度处理采用絮凝沉淀/V型滤池过滤工艺,出水水质达到《城镇污水处理厂污染物排放标准》(GB 18918—2002)的一级A标准。
国有企业进行产权改革导致企业生产经营模式发生变化,企业劳动关系逐步走向规范化,但主体双方的地位存在着明显差异;职工群众作为劳动关系主体,他们对企业的依赖性不断增强,
2014年随着《生活大爆炸》等四部美剧在视频网站下架,而同时美剧《权利的游戏》开始在央视播出。许多人开始关注,美剧在中国的电视平台能否热播?本文结合美剧在央视的播出历
翻译不是单纯的语言活动,也涉及到思维方式的转变。而中西方民族受不同的地理、历史及文化的影响,传统的思维方式及语言表达也存在着很大的差异,这就给翻译带来了很大的困难
针对目前管网地理信息系统(GIS)在供水企业中的应用现状,结合城市供水管网GIS系统的特点,在对供水企业日常管理业务流程进行分析的基础上,提出了基于GIS的新的业务流程以及以
对我国教师工资区域差异的分析研究发现:全国教师人均工资逐年增长,增速呈"波浪形",东部和西部地区教师工资增长速度较快,中部地区较慢;教师工资分配水平总体均匀,基尼系数小