【摘 要】
：
为了利用海量绝缘子泄漏电流数据进行绝缘子的状态评估,采用半监督聚类的方法,基于Hadoop平台对泄漏电流数据的分析、处理及绝缘子的状态评估进行了研究.首先利用HBase存储泄漏电流信号数据,设计了HBase表结构;其次以HBase表数据作为输入,采用半监督KMeans聚类的方法对样本数据进行处理,对绝缘子的状态进行评估;并将算法并行化,实现了多个MapReduce任务,分别对状态信号数据进行预处理
【机 构】
：
华北电力大学,控制与计算机学院,河北,保定,071003
论文部分内容阅读
为了利用海量绝缘子泄漏电流数据进行绝缘子的状态评估,采用半监督聚类的方法,基于Hadoop平台对泄漏电流数据的分析、处理及绝缘子的状态评估进行了研究.首先利用HBase存储泄漏电流信号数据,设计了HBase表结构;其次以HBase表数据作为输入,采用半监督KMeans聚类的方法对样本数据进行处理,对绝缘子的状态进行评估;并将算法并行化,实现了多个MapReduce任务,分别对状态信号数据进行预处理、特征提取、聚类分析.最后通过对实际泄漏电流数据的处理,验证了Hadoop/MapReduce处理海量信号数据的高效性,并且半监督聚类方法相比无监督聚类算法可以获得较准确的聚类中心及聚类中心半径.本平台适用于利用海量泄漏电流信号数据的绝缘子状态评估.
其他文献
文章主要针对WCDMA双载波扩容之后的邻区优化进行了研究,阐述了双载波环境下邻区关系的演变过程,邻区的配置策略,同时总结出"先加后删"的邻区配置和优化方法,取得了良好的优化效果。
文章在尽量不修改802.16j标准协议的情况下,提出一种新的管理802.16j中继业务方法,以减小业务管理信令开销、等待时间等.该方案虽然资源预留隧道会以一定的资源浪费作为代价,但可以减少重要信令的开销和延时,对于中继多跳系统来说还是值得的;同时,它无需对网络协议框架进行较大的改动。
针对传统协同过滤推荐(Collaborative Filtering Recommendation,CFR)受数据聚类预处理、评分矩阵稀疏性影响较大和多个评分矩阵之间不能知识迁移的问题,提出一种基于联合聚类和评分矩阵共享的协同过滤推荐方法,以提高推荐系统精度和泛化能力.该方法首先通过联合聚类对原始评分矩阵进行用户和项目两个维度的聚类;然后对评分矩阵进行分解并取得共享组级评分矩阵;最后利用共享组级评
在很多应用中,模板计算(stencil)是最为重要和耗时最多的计算核心.随着越来越多的超级计算机开始使用多核CPU和众核协处理器,如何在这样的平台上将stencil优化至较高的性能和效率便成为了一个亟待解决的问题.在本文中,选取了7点Jacobi、13点浅水波方程和19点有限差分三个典型stencil进行研究.通过对这3个stencil在不同平台上的优化和分析,探讨了不同的体系结构对于性能和效率产
HPC上搭建虚拟集群可以较好地实现资源复用且可定制,同时保证各个用户需求并不会产生资源冲突.被认为可以解决高性能计算面临的诸多问题的潜质,同时其主要面临的问题是额外的性能开销.为了验证虚拟化在高性能计算中应用的可行性,本文在高性能计算集群中构建了虚拟化系统环境,并针对MPI类应用进行了系列对比测试.实验结果显示,NPB测试中,LU和SP在虚拟集群上运行时间更长,IS、MG、CG、BT在16节点的集
基因组数据在以空前的速度增长,其中,多数基因组数据文件格式以类似于表格的平文形式存储.为了合理利用资源,开发了一个基于GPU加速的基因组数据压缩框架.该框架包含了多种压缩算法在GPU上的高效并行化实现,通过为列数据选取合适方法进行压缩,在不损失压缩率的前提下,压缩速度和解压速度同时达到约100MB/s.同时本文设计了一种适合GPU加速的基于Markov模型及字符变换的压缩方法,测试结果表明该方法在
本文分析了高端高效能计算系统体系结构正在经历的重大变革以及呈现的多个显著特征,以及由此带来的功能复杂性和性能复杂性的加剧给并行编程带来的挑战,论述了为适应体系结构的发展趋势,高效能并行编程模型需要具备的特征和需要解决的问题.为了对高效能并行编程模型的高效能特性进行有效的评价,本文还提出了针对高效能并行编程语言、编译器和运行库的评价指标和评价内容,涉及易编程性、高性能、可扩展性、高可用性和低功耗,五
为了充分发挥多处理器系统的计算性能,可重构网络互连的多处理器系统通过改变处理器间的互连拓扑来支持系统的高效通信.本文研究了片上网络多处理器系统的拓扑重构容错问题.提出了两种移位操作,即行双向移位操作和列移位操作,对处理器逻辑拓扑进行变换,并且提出了两个高效重构算法来解决容错拓扑重构问题.第一个算法CRS通过循环使用以上的两种移位操作用来产生初始拓扑结构.第二个算法利用Tabu搜索技术迭代地对CRS
高性能互连网络的研究表明,高阶路由器可以显著缩短网络直径,减小网络构建成本,是当前高性能计算的研究热点之一.高阶路由器设计面临的主要挑战之一是队头阻塞,它使N×N交叉开关的吞吐率限制在58％以下.本文提出了一种有效缓解队头阻塞的高阶路由器组织结构——OE-HAC.OE-HAC使用两种技术来减弱队头阻塞,一是采用非对称交叉开关的层次式交换结构(HAC),N×N交叉开关可以使用N/m个小型的m×N来实
第一性原理计算软件在密度泛函理论的发展中起着重要作用.相比平面波方法,局域轨道法更适合处理大规模多体问题.随着问题规模的不断增大和计算机计算能力的提升,软件的并行加速成为一个重要课题.在继续增加CPU处理器数量已经无法明显提升程序性能的情况下,MPI结合CUDA、MIC等众核架构实现的异构并行成为一个新的解决方案.在中国科学技术大学量子信息实验室第一性原理计算软件的基础上,使用MPI+OpenMP