论文部分内容阅读
信息技术的发展推动着数据中心市场规模的不断扩大,节约能源消耗已经成为数据中心运营机构迫切需要解决的问题。数据中心能源监控系统主要负责动力环境以及IT设备实时运行状态的监控及分析,数据中心运行过程中会持续不断的产生大规模日志数据,因此海量能耗数据的存储成为了构建高效的数据中心能源监控系统的核心问题。数据中心能源监控系统不仅需要提供对能源消耗数据的多维分析与展示等强大的数据统计分析功能,同时还要求能源监控系统中的数据存储系统具备高可用性、高可扩展性。传统的数据存储解决方案主要采用关系型数据库,关系型数据库具有强大的数据存储与分析能力,不仅支持数据的顺序扫描、随机读写同时具有强大的索引功能。与传统的关系型数据库不同,HBase属于NoSQL中面向列存储的分布式数据库,主要优势在于强大的并行计算能力、高可扩展性。本文分别针对传统关系型数据库以及NoSQL数据库的数据存储特性进行了深入的研究与分析,同时结合Hadoop平台高可靠性、高可扩展性的数据存储及处理能力设计并实现了一种基于MySQL关系型数据库和HBase分布式数据库的混合架构的海量能耗数据存储系统。该系统中基于Hadoop实现了海量能耗数据的并行处理,基于HBase和MySQL数据库实现了高效的海量能耗数据结构化存储。本文搭建了Hadoop实验平台,并对HBase以及MySQL的数据存储及访问进行了详细的性能测试及结果分析。实验结果表明,基于混合架构的海量数据存储系统不仅具有高可靠性、高可扩展性,同时具有高效的数据存储及访问性能。