基于Spark的个性化电影推荐系统的设计与实现

来源 :东南大学 | 被引量 : 9次 | 上传用户:leihaibo880125
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
推荐系统是电子商务领域的重要研究课题,是解决信息过载问题的有效工具,可以根据用户的历史行为数据做出个性化的推荐。针对传统隐语义模型推荐算法存在的用户冷启动以及数据稀疏性问题,本文设计了引入用户人口统计学信息的推荐模型,以期解决用户冷启动和数据稀疏性问题并提高推荐的个性化水平;针对推荐系统随着数据量不断增长而面临的可扩展性问题,本文进行了推荐模型基于Spark的并行化设计与实现;为提高系统的推荐计算效率,针对Spark在异构集群下的资源分配不均衡问题,本文提出了 Spark的资源分配优化策略。本文的主要工作有:1、设计了融合隐语义模型推荐算法与用户人口统计学信息的推荐模型UD-LFM。该模型在隐语义模型推荐算法的基础上,结合基于人口统计学信息的用户模型进行推荐,在一定程度上解决了用户冷启动带来的无法推荐的问题、数据稀疏性带来的推荐结果不准确问题以及提高了推荐的个性化水平。2、对UD-LFM推荐模型进行了基于Spark的并行化设计与实现。使用Spark分布式计算框架,在一定程度上解决了推荐系统随着数据量的不断增长带来的可扩展性问题。3、基于UD-LFM推荐模型设计并实现了基于Spark的个性化电影推荐系统。4、提出了 Spark的资源分配优化策略。该策略在一定程度上解决了 Spark在异构集群下的资源分配不均衡问题,提高了系统的推荐计算效率。
其他文献
目的:探讨替米沙坦联合左卡尼汀对腹膜透析(PD)患者营养状态的影响。方法:选择我科2011年11月~2014年1月随访的80例慢性肾功能衰竭(CRF)接受PD患者为研究对象,随机分为治疗组与对照组
江西省是一个少数民族散杂居省份,居住有畲、回、蒙古、瑶、黎等51个少数民族,全省共设立了7个民族乡和61个民族村。目前,全省的少数民族乡、村共建有民族小学69所(其中完小4
<正>在国内家电业O2O发展如火如荼的势头下,家电厂商对于"场景化营销"的需求愈发强烈,特别是移动互联网时代,传统终端的场景化营销已经得到新的进化和升级。场景化营销意在把
<正> 人体细胞内有46条染色体,其中44条常染色体为男女共有,两条性染色体,男女有别,正常女性有两条X染色体,核型为46,XX;正常男性有一条X染色体和一条Y染色体,核型为46,XY。
随着污水处理工艺的发展,污水处理自动化的要求也越来越高。从近几年环境治理来看,我国的环保理论、工艺研究和应用与国外差距不大,差距比较大的是环保单元设备和自动控制系统。
生物多样性保护是近年来法学研究中的热点问题,其重要性首先在环境法领域中突显出来,《生物多样性公约》(CBD)的缔结是其里程碑。CBD对生物多样性的保护主要是生态保护,由于它赋予
近年来,人们对电磁场产生的生物学效应及其应用的研究越来越广泛,包括电磁波的生物热效应和非热效应.其中脉冲电磁场下非热生物效应是生物电磁学中最新的一个领域,普遍认为电磁脉
河北省首届园博会沧州园设计选取最具沧州特色的"杂技之乡"为主题和文化背景,展园分为三大部分:庭院游览区、滨水表演区和园艺观赏区;主体建筑观戏楼通过长廊与爬山廊连接景亭,
中药复方是通过化学成分组合影响到信号分子组合,使紊乱的信号分子网络恢复平衡,从而达到治疗中医的证和相关疾病的作用和效果。课题以蛋白质组技术为依托,以基因芯片、RT-PCR和
20世纪中期以来,建构主义成为风靡全球的理论派别,在建构主义的发展过程中,形成了不同的发展路线,其中最引人关注的是心理学的发展路线和社会学的发展路线,前一种路线发展成为教育