论文部分内容阅读
在过去近十年里,视频点播服务(video-on-demand, VoD)以惊人的速度变革着人们获取信息的方式。互联网上的视频内容激增至了一个前所未有的水平,但同时也带来了信息过载问题。个性化推荐技术作为一种非常有前景的信息检索技术,已被广泛地应用于工业界解决此问题,并在学术界也保持着十分高的研究热度。通过对现有个性化推荐系统的研究和分析,发现不管是广泛应用的协同过滤方法还是基于内容的方法,都存在着不同的局限性。进一步研究还发现,与用户体验高度相关的推荐实时性和多样性问题极少被学术界讨论或研究。受到以上观察的启发,提出了一种视频关系网构建和个性化推荐相分离的框架。该框架首先综合利用用户观看日志、视频元数据和视频主题三种数据,在Hadoop Map-Reduce上混合构建统一的视频关系网络。该图的边权重,即视频间相关性,是由协同过滤相关性、基于内容的相关性和基于自动分类的相关性组合得来的;个性化推荐逻辑则交由实时推荐服务器实现。该服务器实时地并发处理携带用户种子视频的推荐请求,从种子出发在视频关系网中搜索候选推荐视频,并评估候选者与种子集的相关性。为了尽可能多地覆盖用户的不同兴趣,它还在生成推荐索引前限制从同一种子衍生出的推荐视频个数。在Netflix公同数据集上的实验表明,本框架的平均信息查全率(recall)达到9.92%,显著地超越了其他所有模型。在拥有良好recall的同时,它的平均信息查准率(precision)还高达26.33%,仅次于纯协同过滤模型。在代表综合推荐效果的平均MCC方面,本系统表现出了最优秀的性能,达13.88%。另外,对实时推荐服务器的性能测试表明,系统具备极短的响应时间和线性扩展性。鉴于本系统的良好效果和性能,该技术已被成功地应用于社会化云媒体CloudMedia之上。