论文部分内容阅读
随着互联网技术的发展、大数据时代的来临,人类享受着信息爆炸带来的巨大机遇,同时也面临着“信息过载”的挑战。个性化推荐技术继网页分类目录和搜索引擎技术之后,成为当前解决信息过载问题的有效手段。无论是大型IT企业还是科研机构都致力于研究如何利用个性化推荐技术来提高用户的上网体验。然而,用户的兴趣会随着时间而不断地变化,如何通过捕获用户兴趣的变化来提高推荐质量给推荐系统带来了极大挑战;与此同时,由于网络用户量的急剧攀升,系统的可扩展性和处理能力也面临着巨大压力。 针对用户兴趣随时间变化的问题,本文从算法模型和推荐系统架构两个角度进行考虑。首先,从算法模型的角度,提出了使得项目关系模型能够动态变化的动态推荐算法。利用兴趣衰减特性度量项目之间的关联程度,提出了基于用户兴趣的项目关联度。并基于项目关联度对传统基于项目相似度的协同过滤算法和基于项目关联图的ItemRank算法进行改进,提出基于用户兴趣的TItemCF算法和结合时间因素的TItemRank算法。除此之外,利用项目关联度对SlopeOne算法进行改进,提出了IR-SlopeOne算法,解决了SlopeOne算法不能针对用户隐式行为数据进行推荐的缺陷;其次,从推荐系统架构的角度,设计出能够阶段性更新项目关系模型并且能够实时捕获用户行为的推荐系统框架——R&S RecEngine。 针对系统可扩展性和实时性问题。本文依据大数据架构Lambda的基本原理,设计了R&S RecEngine推荐框架,并在此框架下对提出的动态推荐算法进行重新设计,实现了R&S IRSO算法和R&S TICF算法。由于R&S RecEngine系统框架利用了当前主流的分布式平台Hadoop和Storm,因此具有高度的可扩展性和实时处理能力。