基于Hive on Spark的农产品电商数据仓库分析评估系统的设计与实现

来源 :厦门大学 | 被引量 : 0次 | 上传用户:jiangjia09
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,电商平台相继进入数据价值驱动的运营模式。对于农产品电商平台而言,供应商质量关乎平台的竞争力甚至是平台生命线,因此,借助数据对供应商进行评估甄选是目前许多企业的迫切需求。但中小型农产品电商平台囿于自身数据不足以及成本过高等原因而无法独立搭建维护数据分析系统,一直无法享受这波数据红利。基于此,鉴于数据仓库优秀的数据整合以及分析能力,本论文致力于以现有理论模型为基础,将其针对性实现应用于供应商评估,设计和实现一套能够评估分析农产品供应商的数据仓库系统,将相关中小型电商平台的数据与网络公开数据进行整合,提供针对性服务,帮它们甄选供应商。系统选择的Hiveon Spark技术框架拥有优秀的大数据处理、分析能力,能够分析多维复杂的数据并高效得出计算结果,因此本论文重点在于如何建立一套数据仓库模型和架构,利用这些大数据处理工具对数据进行分析处理。具体工作包括以下三个方面:1.根据需求分析确立数据仓库的供应商画像主题,基于主题和数据来源将系统分为公共分析模块和定制化分析模块,对各模块进行维度与模型设计,确定需要采集的待分析数据;2.根据数据流向将系统分为数据采集部分,数据分析部分和可视化部分,前两个部分包含了 ETL的全过程,并根据数据仓库分层理论设计了STORAGE层,ODS层,DWD层,DWS层,ADS层共五层架构,分层架构保证了数据通道和系统的稳定性;3.将设计理念用Hive on Spark技术框架进行实现,并进行了系统环境和功能测试,验证了方案的正确性和可用性,证明了该系统可以满足需求。本文针对中小电商缺乏供应商评估分析平台的问题实现了全网供应商相关公共数据和企业数据整合、分析,帮助解决行业痛点问题。
其他文献
壮族是我国人口最多的一个少数民族,主要分布于广西壮族自治区。在长期的社会发展过程中,壮族先民为了适应当地炎热潮湿的自然环境,创造了具有鲜明民族特色的干栏建筑,并且经过累代的不断改进,使其建筑技术日趋完善,传承至今,积累了许多宝贵的气候适应性营建经验、方法和智慧。对壮族传统民居的气候适应性的研究,不仅对民居本身的保护和发展具有重要意义,同时还能为发展绿色生态建筑提供设计参考,促进社会的可持续发展。首
随着大数据时代的到来,数据的规模越来越大,数据的结构也愈发复杂,而对该类数据的采集却随之变得越来越方便,对大规模且结构复杂的数据集进行类别标注却非常困难,怎样从复杂无标签的数据中挖掘出有价值的信息成为无监督学习的研究重点。聚类分析被认为是机器学习领域中最重要的技术,并被广泛应用于图像分割、模式识别、文档聚类和社交网络等领域。而聚类作为一种非监督学习任务,需要验证分割结果的质量,否则很难利用不同的聚
目前,车联网及其相关技术是多行业研究的热点之一,其通过提供智能化服务,致力于提高道路通行效率,在改善交通状况、缓解交通拥堵、节能减排、促进发展、保护环境、节省时间等方面具有重要意义。同时,随着计算机技术的快速发展,计算机仿真让车联网领域的研究实现了快速迭代、不断创新,极大程度地降低了人力物力的投入和回归验证的成本,成为现阶段验证研究成果的主要技术手段。论文首先将现阶段主流的车联网仿真平台进行对比分
随着车辆数量的增多,驾驶环境变得越来越复杂,这就对驾驶员及车辆主动安全系统提出了更高的要求,而行人作为道路使用者中的弱势群体,是车辆主动安全系统需要重点考虑的避撞对象之一。虽然在有信号灯或人行横道的道路上,交通井然有序,但在无信号灯、无人行横道指引的情况下,不文明驾驶及过街行为常有发生,尤其是行人不遵守交通规则违规过街,导致碰撞事故的情况屡见不鲜。而行人是具有主观意识的一个群体,其过街行为具有运动
随着互联网的兴起,人们每天都要面临数以万计的信息,推荐系统在帮助用户过滤冗余信息方面起着举足轻重的作用。互联网的兴起也使得在线社交网络和在线社区快速发展,兴趣相近的用户形成了各种各样的社区或群体,在线群体活动越发普遍。面对生活中丰富多彩的信息,传统的个性化推荐系统已经不能满足用户的需求,面向群组的推荐系统收到了广泛的关注。区别于传统的个性化推荐系统中向单一用户进行推荐,群组推荐系统的目标对象变为一
智能网联汽车是近年来兴起的一种跨技术、跨产业领域的一种新型汽车体系,具备有相应的信息感知能力,是车联网体系的一个重要支点,最终实现路面信息、车载终端以及业务平台的无线通信和信息共享。对于智能网联汽车来讲,信息采集系统和通信系统的设计将成为支撑整个车联网体系的重中之重。随着人们对于车辆舒适性能和安全性能的要求越来越高,车辆内部的线束和电子设备越来越多,各个模块之间数据交互和协调机制变得越来越复杂。而
抽水蓄能电站在保障电力系统安全、灵活调峰调频、促进新能源消纳等多方面发挥着重要作用,发展需求持续增长。抽水蓄能电站在运行时会产生较大的散热量,若地下厂房利用竖井排风,则易产生较大的自然通风动力,具有巨大的节能潜力。抽水蓄能电站具有多种工况周期性转换的特点,并且进风洞在湿热季节易产生空气冷凝,这些因素使得其地下厂房自然通风的变化规律变得复杂,值得进一步研究。为此,本文通过理论分析、现场调研及数值模拟
杰克·伦敦在《马丁·伊登》中塑造了一个追求“理想自我”的个人奋斗者——马丁·伊登。在这一过程中,他实现了身份的转变,即由水手到作家的转变,却因其认同的不一致而处于孤独状态之中,呈现出孤独者的形象。这一孤独者形象背后反映出的是作者杰克·伦敦对于“美国梦”的态度转变,即由认可到怀疑再到反思的转变。与此同时,这一孤独者形象也折射出杰克·伦敦本人的部分状态。因此,本文拟将在文本细读的基础上运用认同理论,从
在水环境污染和能源危机的背景下,微藻由于具备生长速度快,光合效率高,经济效益高,环境友好,适应性强等优点,成为了污水处理以及资源化的研究热点之一,具备广泛的应用前景。在微藻的研究中,紊流和外源植物激素是影响其生长和生物质成分的两大重要影响因素。目前的研究大都着眼于植物激素浓度对于微藻处理污水效果和生长特性的影响,而紊流的存在可能对植物激素的作用效果产生影响。关于紊流和植物激素对微藻生长的影响及其机
铁水物流是钢铁企业中通过工艺铁路运输铁水的一种特殊物流方式,物流中的铁水运输直接关系到相关生产人员的人身安全以及企业钢铁生产的效率,同时铁水物流也是涉及多部门协作的复杂工作。原有的铁水物流管理系统不能满足现在钢铁企业向生产规模化和管理智能化发展的需要。所以铁水物流的信息化和智能化建设对钢铁企业生产的提质增效具有重要意义。本文以国内某钢铁厂的智慧铁水物流项目作为背景,分析了原有系统所存在的问题。针对