论文部分内容阅读
在互联网广告产业,大数据对广告企业的影响越来越大。数据管理平台是互联网广告体系中非常重要的一部分,营销者通过大数据分析消费者的采购行为,可以将广告更有针对性地传达给“刚需客户”。网站管理者能弄清网站用户的访问行为和喜好,将内容更有针对性地推送给用户,提高用户访问的粘性,增大网站的流量。此外,数据管理平台提供了多维度的查询接口,让广告主和运营人员能够实时的查看数据效果展示。论文选题来源于亚信科技有限公司大数据部门的实际应用,设计和实现了广告投放数据管理平台。本文根据现有的业务状况对平台进行了详细的需求分析,包括功能点的划分、功能性和非功能性需求分析;从平台架构,平台拓扑和平台构建三个角度进行了概要设计,详细说明了平台本身的三层架构和对其他服务的依赖情况以及线上的服务器部署情况;针对各个功能模块进行详细设计,对其中重要的模块做了流程说明和类设计,并明确了各个功能点在实现中方法的调用关系;为了提供更好的灵活性和可维护性,平台采用了商业系统传统的B/S架构,并使用JavaEE进行开发;数据库使用了MySQL数据库:前端使用了j Query框架进行开发。为了支持海量日志的快速收集和统计,平台采用了Hadoop、Spark等分布式并行计算框架。为了提高查询效率,平台大量的使用了Hive、Spark SQL和缓存等方式提高性能。本人在项目中完成了从需求分析到设计开发,再到项目部署上线的全过程,其中主要工作包括:多种任务调度、日志收集、日志处理、数据查询展示、人群管理、人群洞察、动态素材各个模块的功能设计、开发,以及性能的优化。数据管理平台采用敏捷开发的方式,已经开发并上线了八个版本,数据管理平台的现阶段需求提出的所有功能均已经上线。在这八个版本中除了功能的增加,性能方面也逐步的提高,最新版本目前已经稳定运行了近两个月,为进行广告投放的需求方平台提供了重要的数据支持。从数据角度来看,通过数据管理平台,需求方平台的广告投放的效果得到增强,并通过直观的数据展示,也让更多的广告主认可了广告投放平台,通过数据的应用为广告主和公司创造了收益。