基于云平台的路网收费数据集成方案的设计与实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:xub23
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,我国高速公路在快速的建设,路网结构逐步形成并不断完善,收费系统业务也在不断的增加,精细化管理的要求越来越高,路网快速涌现并形成了多维度、多剖面、多种类的海量数据,这些海量数据规模庞大、来源复杂且形式多样。由于各系统投入运行的时间不一,设计和建设单位不一,导致目前全部的路网收费数据都没有形成规范统一的存储格式,数据的获取也相对复杂,从而导致各种形式的数据一盘散沙,使其得不到充分的利用,造成大量资源被浪费的现象。并且收费系统大多采用集中式体系结构,系统对主机要求比较高,若主机出现故障,可能导致全网停止工作。本文从用户实际需求出发,研究了一种基于云平台的路网收费数据集成方案。本文首先介绍了数据集成方案和云平台相关技术,研究了ETL流程和Hadoop分布式计算平台;其次设计了MapReduce并行框架和ETL并行处理,将海量复杂的异构数据进行相同格式转化,规范统一了数据的存储格式;接着采用贪心算法对分布式ETL进行了设计,实现了系统的负载均衡。此外本文对实验结果进行了测试分析,证明该基于云平台的路网收费数据集成方案实现了负载均衡、处理速度快,能较好的满足用户对海量路网收费数据进行高效的管理和存储的需求,从而说明本系统具有十分重要的应用价值。
其他文献
医学免疫学是基础医学教育的重要组成部分,具有理论抽象、知识点更新迅速和研究方法独特等特点。在八年制医学生的免疫学教学中,如何科学合理地选择有效的教学方法以激发和培
在生理学实验教学中灵活运用TBL(team based learning)教学模式,以培养学生的自主学习、综合分析、团队协作等方面的能力,为探索新的教学模式、提高教学质量提供了一个新思路。
农村公路作为公路网的重要组成部分,是支撑新农村建设的重要公益性基础设施,对促进农村地区经济建设发展起着重要作用。我国农村公路经历了近30年的快速发展,已形成规模巨大的道路网络。面对拓扑复杂、地区发展不平衡的农村公路网,如何对其进行有针对性的评价、进而优化配置建设资源以更好地支撑农村地区社会经济的发展,已成为相关政府部门和研究机构重点关注的问题。在此背景下,本文以农村公路为研究对象,重点研究农村公路
目的:观察七氟烷麻醉时其代谢产物游离六氟异丙醇(hexafluoroisopropanol,HFIP)的生成是否受肝功能状态的影响,以及其与麻醉恢复质量的关系。方法:选择肝功能正常(A组)与肝功
加工中心,是适应省时、省力以及节能等时代背景要求而迅速发展起来的自动换刀数控机床。高速电主轴单元是决定数控机床实现高速化和高精度的关键部件,始终是机床技术发展的基
分析评价临床医学2008级五年制本科2班学生的生物化学期末考试试卷,考试成绩呈负偏态分布,平均成绩为73.35分,难度为0.78,区分度为0.26,信度为0.88。试卷题型分布合理,试题总
医学本科留学生教育已经成为我国高等教育的重要组成部分,同时对医学生物化学的全英文教学提出了全新的要求。从留学生特点、生物化学课程的特点、授课各环节的体会进行了全面
目的探讨糖类抗原CA242在恶性肿瘤诊断中的意义。方法采用免疫放射分析(IRMA)的方法共检测232例恶性肿瘤患者及作为对照的105例健康人血清CA242的水平。结果恶性肿瘤组显著高于