【摘 要】
：
日志分析作为数据中心系统和在线服务运维中重要的技术手段,常用于事件追溯、性能优化、入侵检测、用户行为统计等任务中.传统的日志分析手段,通常在单个或少数计算机上通过
【机 构】
：
上海交通大学网络信息中心,上海200240宁波数方信息技术有限公司,浙江宁波315800加州大学圣地亚哥分校,美国
【出 处】
：
CERNET(中国教育和科研计算机网)第二十二届学术年会
论文部分内容阅读
日志分析作为数据中心系统和在线服务运维中重要的技术手段,常用于事件追溯、性能优化、入侵检测、用户行为统计等任务中.传统的日志分析手段,通常在单个或少数计算机上通过文件读写和文本解析命令组合完成,其并行程度有限.随着数据量的增长,传统手段的性能瓶颈日益突出.设计和实现了一个并行全文检索计算框架Greppy,使得若干节点在同一命名空间下可对TB级文本日志数据进行关键字检索并达到秒级响应时间,同时具有接近线性的扩展能力.Greppy使用了Data Thinker技术提供内存中计算能力,并融合内外存以提高可扩展性和性价比.通过性能测量和比较,验证了Greppy系统在数据量和节点数同步增长时能保持常数数据检索时间,而随着节点数增加可获得接近线性的加速比.
其他文献
西昌学院作为一所远离省会城市的新建院校,经过10年应用型本科办学探索,在明确应用型人才的内涵特征的基础上,推进办学思路的"五个转向"(转向服务地方经济、助推彝区精准扶贫
此次围绕"档案安全体系建设"这一主题召开专题学术研讨会,结合浙江档案工作实际,谈点体会想法.浙江在档案安全体系建设方面的一些探索和实践，首先简要介绍一下浙江档案工作的
经济社会"新常态"要求地方普通高校寻求适合自身特点的转型发展道路.攀枝花学院围绕建设"地方高水平特色大学"的战略目标,全面推进综合改革,实现学校向应用技术大学整体转型,
新建本科院校要实现差异发展、特色发展和内涵式发展,积极完成由新建本科向新型本科(即应用型本科)的"转型"是关键所在.四川传媒学院作为四川省教育综合改革试点项目"本科院
随着信息技术在档案领域的广泛应用和快速发展,异地查档、跨馆出证以及区域间档案电子数据整合共享等工作模式已经成为当前和今后档案事业发展的一个必然趋势.面对档案工作新
任何一门学科的发展,都是该学科沿着共同的逻辑程序,在两个方面的深化和展开:一方面是该学科研究对象的深入和扩展;另一方面是该学科自身理论的建设和发展.前者是后者的基础;
习近平总书记提出向西开放、共建“一带一路”的战略构想，对于深化区域交流合作，形成全方位开放新格局，推动相关区域更好地发挥区位、资源优势，统筹利用国际国内两个市场，优化配置
十八届三中全会提出:构建开放型经济新体制.开放型经济是外向型经济的深化,是外向型经济发展的更高阶段.外向型经济体制以出口导向为主,总体上是一种政策性开放,而开放型经济
神经网络算法应用非常广泛,在自学习、自适应和容错方面具有很好的性能.提出了用单神经元BP神经网络算法来优化垃圾邮件过滤规则,以此来解决过滤规则不能实时反映新类型垃圾
随着高校信息化建设从数字校园建设向智慧校园建设过渡,如何提高各类网络信息服务的用户满意度已经成为信息化建设的关注点之一.本文面向高校信息化建设应用实际,在总结信息