一种安全性的海量数据处理平台设计与实现

来源 :电信工程技术与标准化 | 被引量 : 0次 | 上传用户：bingling1054

【摘要】

：

提出了一种开放分布式海量数据处理平台的设计方案.该平台以HDFS、Hive和HBase等作为底层数据存储方式,以MapReduce、Spark和Storm等作为底层数据处理方式,向用户提供了统-的

【作者】

：

张德阳王晶

【机构】

：

北京邮电大学网络与交换技术国家重点实验室,东信北邮信息技术有限公司

【出处】

：

电信工程技术与标准化

【发表日期】

：

2014年11期

【关键词】

：

HADOOP 分布式系统海量数据 Kerberous 数据处理平台 Hadoop Kerberous Hadoop distributed system ma

【基金项目】

：

国家973计划项目（编号：2013CB329102）,国家自然科学基金资助项目（No.61471063,61372120,61271019,61101119,61121001）,长江学者和创新团队发展计划资助（编号：IRT1049）,教育部科学技术研究重点（重大）项目资助（编号：MCM20130310）,北京高等学校青年英才计划项目（编号：YETP0473）

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

提出了一种开放分布式海量数据处理平台的设计方案.该平台以HDFS、Hive和HBase等作为底层数据存储方式,以MapReduce、Spark和Storm等作为底层数据处理方式,向用户提供了统-的接口,同时使用Kerberous进行权限控制,保证了数据安全性.这种开放式的服务可使用户可在不同平台不同环境下简单方便地完成海量数据处理任务.

其他文献

基于HBase的实时消息推荐系统

在现有的推荐系统中,基于用户兴趣模型都能够表达出用户的兴趣,但在用户兴趣发生变化时却不能够及时更新模型.提出基于用户反馈内容来实时更新用户兴趣的消息推荐系统,通过实

期刊

用户兴趣实时推荐系统HBASEuser interestsreal-time recommendation systemHBase

华为将在伦敦举办首届专业服务全球论坛

华为近日宣布将于9月15～17日在伦敦召开首届专业服务全球论坛,本次论坛以“领跑运营转型,成就商业卓越”为主题,将探讨数字经济时代的电信运营、网络演进趋势、业务创新策略,

期刊

专业服务论坛伦敦华为电信运营数字经济演进趋势创新策略

基于SD模型的细河流域水资源承载能力研究

立足于水资源可持续发展的基本理念,分析细河流域水资源条件,以水资源—生态—社会经济系统构建指标体系,从而创建基于系统动力学（SD）模型,来实现推求细河流域不同情势下水资源

期刊

SD模型水资源承载能力细河流域SD model carrying capacity of water resources Xi River Basin

交流经验促改革共话创新谋发展——地方标准化工作经验交流座谈会召开

2017年12月13日,由住房城乡建设部标准定额司组织召开的地方标准化工作经验交流座谈会在北京召开。住房城乡建设部标准定额司相关领导出席会议并讲话。来自各省、自治区住房

期刊

地方标准化工作经验交流新疆生产建设兵团标准化管理工作标准定额司改革创新城乡建设

一种安全性的海量数据处理平台设计与实现

其他学术论文