基于分布式环境的推荐算法研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:qinlou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着Internet和信息技术的蓬勃发展,越来越多的信息被呈现至用户面前,造成了信息过载的问题。推荐系统是解决这个问题的有效途径之一,推荐系统根据用户的兴趣偏好、历史行为、地理位置、生活场景等信息,建立模型,进行个性化推荐。协同过滤推荐算法是应用最为广泛的一种推荐算法,但其仍然存在冷启动、数据稀疏等问题。传统的协同过滤算法面对海量数据也出现了可拓展性问题,分布式计算框架的出现为该问题的解决提供了新思路。基于内存的开源分布式计算框架Spark,是近几年大数据实时处理领域的研究热点和重点。本文对传统Slope One算法进行了研究,针对其没有考虑用户兴趣变化、没有考虑用户兴趣差异、没有考虑项目之间相似性等问题进行改进,同时基于Spark分布式平台,对改进算法进行了分布式设计与实现,提升算法的可拓展性和执行效率。主要工作包括以下几方面:  1)分析了传统Slope One算法的基本原理、详细算法步骤和算法存在的问题。  2)基于Spark平台进行了Canopy-Kmeans算法的分布式设计与实现。实验结果证明,分布式Canopy-Kmeans算法比传统分布式Kmeans算法的聚类效果更好。  3)从三个问题切入,对原始Slope One算法进行改进:首先,针对用户兴趣随时间变化的问题,使用兴趣衰减函数修正评分,同时使用兴趣转移强度修正评分预测公式;然后,针对不同用户之间兴趣差异性的问题,使用Canopy-Kmeans聚类算法将兴趣相似的用户聚集;最后,针对不同项目之间的相似度问题,计算项目之间的Pearson相似度作为评分偏差的权值,修正评分预测公式。实验结果表明,改进型的Slope One算法相比传统算法,具备更高的预测准确度。  4)基于Spark平台进行了改进算法的分布式设计与实现,使用Speedup指标证明了改进型分布式Slope One算法具备良好的并行性能。
其他文献
肺癌是高发的恶性肿瘤之一,且发病率逐年增加。术前明确有无肿大淋巴结转移是判断病人能否进行手术治疗的关键。PET作为目前最先进的功能显像分子影像技术,可早于CT等形态学手
具有多个个体之间相互作用的复杂系统往往都可以抽象成为复杂网络,将系统中的每一个个体作为网络中的节点,个体间的相互作用等关系对应于网络的连边。从而利用复杂网络理论描述
无线传感器网络是面向物理世界的新型信息系统,其应用已拓展到环境监测、智能家居、医疗监控和工业等众多领域。由于其节点数量大、资源和能量受限、应用环境复杂多变、通信的
瞬态吸收光谱是一个研究激发态弛豫、能量转移、电荷转移和化学键断裂等化学过程直接而有力的工具。目前已经有几种针对瞬态吸收光谱数据分析的方法在应用,包括了结合奇异值分
开关磁阻电机(Switched Reluctance Motor(一)简称sRM)是近年来随着电力电子技术和控制技术的发展而逐渐完善起来的一种新型调速电机。它具有结构简单坚固、成本低、可靠性高
摘要:近年来,微型制造、通讯技术的翻新使微小的传感器可集感应和无线通讯于一体,利用这种微小传感器组成的网络称为无线传感器网络。当前,无线传感器网络受到了学术界与工程
在机器人研究领域,视觉伺服控制是其中的一个前沿课题,也是一个重要的研究方向。机器人视觉伺服的研究对于机器人智能化水平的提高、机器人应用场合的扩展乃至机器人学的发展
随着现代自动化领域的不断进步,工业控制系统对通信实时性、传输速度、数据量等方面提出了更高的要求,在此背景下工业以太网技术克服了传统现场总线技术存在的诸多弊端,得到了进
光栅投影三维测量技术,具有高精度、易于实现、非接触测量且能获得被测物体全场三维信息等优点。近年来,数字光栅投影测量技术,作为一种研究最为活跃的光学三维形貌测量技术,被广
随着城市化进程的加快,人们生活水平的提高,现有道路的通行能力与不断增长的交通需求之间的矛盾变得日益尖锐,从而交通拥堵问题变得日益严重。通过使用智能控制算法对高速公路进