基于用户体验的爬虫监控系统开发与实现

来源 :中国新闻技术工作者联合会2020年学术年会 | 被引量 : 0次 | 上传用户:dl612
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
服务器监控是机房运维管理的重要内容,但传统的监控系统主要监控服务器的内存、磁盘、数据库状态等信息,并没有对应用系统实施监控,存在针对性不足和准确性不高的问题.有些开源软件可以监控业务系统日志,但日志分析的成本太高,也无法有效降低误报率和漏报率.人民日报社采用了软件测试的原理,使用性能检测的方法,基于爬虫技术自研设计了一套针对业务应用的监控系统,以牺牲少量计算资源为代价,创建了一个可并发的“用户机器人”,通过对业务的不间断模拟访问,实时获取用户的体验状况,分析后再通过多层次告警模块发送通知,从而实现精确监控的目标.此系统已建成并正式投入使用.
其他文献
徐汇区“书香联盟”是保障市民阅读权益的重要平台和载体,是引导社会力量参与阅读服务的重要路径,为创新阅读服务方式、拓展阅读服务路径积累了经验、提供了示范.文章在简要分析“书香联盟”的内涵、运营、成效及建设背景的基础上,具体归纳了“书香联盟”的建设路径,即:更加注重用户体验、努力促进跨界合作、积极探索数字服务、着力深化“放管服”改革.
随着信息技术和移动互联网技术日新月异的发展,当今舆论生态、媒体格局、传播方式均发生深刻变化.如何在新兴媒体的冲击下顺势而为,引领媒体融合发展,抢占新的舆论高地,成为传统媒体所不得不面临的问题与挑战.特别是近年来,移动终端、5G、8K、云直播、大数据、虚拟现实、人工智能等新技术兴起,短视频、H5动画、VR全景视频等以视音频为基础的复合型内容传播需求大增,如何在传统媒体现有的内容采编制作框架中引入高效
本文详细阐述了新华社技术局综合办公系统(简称局OA)的总体架构设计和各主要功能模块的设计与实现.局OA系统通过信息化手段,有效提升了技术局现代化治理能力和治理水平,同时探索了全社流程电子化实践,为全社网上办公、无纸化办公探明了道路.
新闻时效性是新闻价值的一个重要因素.近年,面对新兴媒体的冲击,对新闻时效性的要求变得更加苛刻,分秒必争.2019年国庆报道中,尝试了新的解决方案,为摄影记者编辑们提供了前方即拍即传,后方即编即签的整体解决方案,大规模提高了新闻摄影报道的发稿效率.本次技术探索之所以取得成功,不是单纯对某项新技术的直接应用,而是以用户需求为导向,立足于切实帮助业务部门更好的完成报道任务,选择合理的解决方案和相关技术.
本文主要阐述大数据时代背景下,大数据技术和应用正在快速发展,介绍新闻媒体行业在大数据技术平台架构和建设方面的实践和成果,包括大数据采集、传输、存储、管理、处理、分析、应用、可视化等大数据技术在新闻媒体行业的落地和应用.
新华社遍布全球的分社从全球各地源源不断的获取海量内容,这些内容在几分钟内,可能有万级的转发,百万级的阅读.海量的信息得到爆炸式的传播,如何实时把握舆情并作出相应处理是至关重要的.新的互联网化场景也意味着传统的舆情系统升级成为大数据舆情分析系统的必要性和必然性.
新闻采编系统是利用信息技术、计算机技术和网络技术,辅助新闻稿件的撰写、审稿和发稿的信息管理系统.定制开发新闻采编系统,难点之一在于编辑器的开发.为解决摄影记者和编辑的专业需求,在新闻采编系统中设计实现了图片图表编辑子系统,整个子系统全部基于开源软件,自主研发,采用了基于B/S的系统界面和集成调用本地C/S专业编辑软件相结合的方式,既支持编签业务流程,又支满足专业编辑要求.投入使用后,切实提高了编辑
解放日报社经过几十年的发展,积累了大量的历史图片,但这些图片资源由于缺少分类、关键字以及标签信息而不能得到充分地利用,造成了资源的浪费.自然语言处理技术经过多年的发展,在文本分类、自动摘要、信息抽取等方面发挥了重要的作用.本文介绍了自然语言处理技术在解放日报智能视觉创作系统中的应用情况,分析了自然语言处理技术在文章自动分类、实体及关键词抽取、文章自动摘要等方面的技术特点.
本文主要介绍南方报业传媒集团在中央数据库建设过程,在媒体数据应用场景下,满足中央数据库环境下的监控可视化管理系统的探索和实践.
媒体在互联网业务上不断跟进互联网技术发展的脚步,随着容器技术的兴起与推广,容器运用在媒体行业开始实践.浙报集团的天目新闻客户端通过运用云服务和容器技术完成部署上线,并在半年多的运行中完成了多次优化和快速扩容.此技术架构为疫情期间正能量宣传等运营活动提供保障,为浙报今后的互联网业务部署开辟了新模式.