多核平台下Esper数据流管理系统的性能分析研究

来源 :东华大学 | 被引量 : 0次 | 上传用户:zhangfalun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机及其相关技术的发展,尤其是网络的发展,传统数据库处理永久数据的模式已经不能适应现在大量的实时在线应用的需求。在很多应用领域中出现了一种新的数据模式——流式数据。与传统数据相比,数据流具有有实时性、连续性、数据量庞大等特点。复杂事件处理引擎可以从数据流中检测出匹配的数据序列,在流数据处理和实时响应方面非常出色,近些年得到了越来越广泛的应用。Esper是复杂事件处理引擎中非常出色的一款。Esper事件处理系统可用于复杂事件处理和数据分析,适合用于处理大量历史的或是实时的消息和事件流。由于近些年多核处理器已经成为主流,应用已经非常普遍,因此在多核处理器上研究Esper的性能情况非常有必要。本文着重分析了多核计算平台下,基于Esper引擎所构建的数据流处理系统的性能表现。首先介绍了基于Esper引擎的实验平台的设计与实现,并对该实验平台的基本结构和关键模块的构建进行了详细阐述。然后设计了完整的查询语句和测试用例,并使用该实验平台对多核平台下Esper引擎的性能进行了测试。实验中主要将查询语句分成四大类:简单查询、聚合查询、连接查询、模式匹配查询,并对查询语句的命名规则和参数设置进行详细阐述。实验中采用了线程池技术,本文主要从线程池工作模型、处理流程、排队策略以及如何实现线程池的设计做了详细描述。实验通过实时监控和离线数据分析两种方法展示了系统的各项性能指标。最后对实验中得到的原始数据进行统计分析并得出了实验结论。实验结论表明Esper数据流系统对多核平台并不能提供良好的支持,原因是Esper引擎内部的一些设计缺陷造成的,同时指出了后续待研究的一些问题。实验结果中还得到了很多对构建Esper数据流管理系统非常有用的结论,包括不同事件数、不同类型查询、线程池不同数目队列对系统造成的各种影响情况等。这些可以帮助开发者更好地了解Esper引擎在多核平台下的优势和劣势,以便于开发基于开源Esper引擎的更加有效的流处理系统。
其他文献
<正>活动目标:1.初步了解老师的工作,体验老师对自己的关心和爱护;2.会说温馨的话,表达对老师的热爱之情。活动准备:1.每人一篮材料:内装一盒彩色油画棒、一张心愿卡。2.事先
期刊
同任何事物的成长一样,消费增长有它的内生性和外生性。有支付能力的消费欲望是消费增长的内生力。要遏制当前消费率继续下滑的趋势,提高居民消费率和社会最终消费率,从内生性角
利用反渗透对印染生化物化尾水进行回收,考察了分离浓缩过程中,浓缩液和透过液水质随体积浓缩倍数(CF)变化情况,探讨印染生化物化处理尾水反渗透回收机制。研究结果表明,分离
目的:探究用中药治疗类风湿关节炎的用药规律。方法:采用计算机检索的方式检索知网近十年来收录的关于用中药治疗类风湿关节炎的相关文献,并对检索到的文献进行分析和研究,建
无论是纸质贺卡还是通过网络传送的电子贺卡,大多都是2D的平面,总感觉没有太多新意。随着电影《阿凡达》的热映,3D风靡网络,我们就跟2D贺卡说拜拜,借助“立体电子贺卡”(http://www.howdycardcom)让卡片也3D起来吧!