基于Hadoop的随机奇异值分解算法研究

来源 :湖北工业大学 | 被引量 : 0次 | 上传用户:yatou5004
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着生活中海量数据的产生,大数据这个概念在最近几年变得热门起来。大数据时代,数据无处不在,包括互联网、电信、餐饮等在内的社会各行各业,都淋漓尽致的体现出了大数据的特征。但是这些海量的数据其中的绝大部分对于普通家庭是不相关的。事实上,从表面看,这时一个信息过载的时代,但实际上过载的是哪些冗余的没用的信息,质量信息永远都很缺少。推荐系统的提出,正是为了解决这样的一个问题。矩阵分解是目前推荐系统中使用比较普遍的技术。相比于一些其他推荐算法,矩阵分解可以带来更精确的推荐结果,矩阵分解推荐算法充分的考虑到各种影响因素,易于扩展。传统的奇异值分解只能对稠密矩阵进行分解,然而现实中的用户和物品矩阵都是稀疏的,并且奇异值分解具有很高的时间复杂度,当矩阵规模增大时,分解效率是无法忍受的。将随机算法用于解决奇异值分解的分解速度耗费时间长的问题是有效的,本文使用Count Sketch这种用于解决在数据流中查找频繁项目这类问题的算法来加速矩阵奇异值分解,通过实验分析,这种方法可以起到很好的加速效果。然后单一的随机算法有其优点,但也存在它的不足之处。接着这个问题,本文提出了基于两重随机方案的随机奇异值分解算法,这种算法可以弥补单一随机算法的不足,并将两种随机方案的优劣式互补,进一步提高奇异值分解速度。本文中的随机矩阵分解技术,在传统的矩阵分解中加入随机算法,并运行在分布式环境下,通过实验的手段比较了随机奇异值分解算法的不同方面,能够在牺牲较小的准确性前提下,大大地提高了计算效率。实验的结果正式证明了这个算法的有效性。
其他文献
采用顶空进样,毛细柱气相色谱法测定啤酒中乙醇含量,样品在80℃下平衡20min进样,氢火焰离子化检测器检测,外标法定量,结果表明,在酒精浓度为1%~5%范围內加标回收率为98%~106%
<正>广州市海珠区鹤鸣五巷小学创办于1949年,现有教学班11个,教职工26人,学生385人。学校地处广州老城区龙凤街小巷,这里走出了众多的历史名人,如晚清海军名将邓世昌、《汉文
<正>幼儿园角色游戏是幼儿通过模仿和想象扮演角色,创造性地反映现实生活的游戏活动,又称象征性游戏。角色游戏最适合幼儿身心发展的需要,是幼儿期最典型的、最有特色的游
多媒体技术、网络技术的飞速发展使我国教育掀起了教育信息化的热潮,校园网在高等院校已日益普及,但由于网上教育资源的缺乏,使得许多高校校园网并未发挥应有的教学功能,教学
本试验旨在研究饲粮添加维生素E和酵母硒对黄羽肉种鸡产蛋性能、孵化性能及蛋中维生素E和硒(Se)沉积量的影响。试验采用3×3双因子设计,设3个维生素E添加水平(0、20、40 IU/kg)和
阐述了我国林业扶贫在改善贫困地区生态状况、改善贫困地区民生、促进农民脱贫致富、构筑国家生态安全屏障、维护国土生态安全、促进民族团结、维护边疆稳定等方面的重要意义
目的研制一种载唑来膦酸(ZOL)的壳聚糖/磷酸钙陶瓷材料,并对其表征及对成骨细胞的影响进行探讨。方法使用溶剂蒸发法制备载ZOL浓度分别为10-5、10-4、10-3 mol/L的壳聚糖/磷
品牌实际上是三个核心要素?产品、人群、场景的符号化.产品是品牌最基本的载体--假定大家都不穿衣服,假定大家都不用笔与电脑,那么就根本涉及不到品牌;人群是赋予品牌对应意
我国当前的宗教活动场所内部治理尚不完善,而在宗教活动场所法人化后这一问题的紧迫性将会更加突显,因为法人化意味着宗教活动场所更多地依靠其内部治理结构维持其秩序。在这
<正>患者男性,44岁,因"反复咳嗽、咯黄色脓痰20+年,加重伴双下肢水肿7d"入院诊治。20+年前患者出现受凉后咳嗽、咯痰,咳嗽呈阵发性,痰量较多,为黄色脓痰。无发热、盗汗、咯血