基于大数据架构的动态推荐技术研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:ssbbe1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的发展、大数据时代的来临,人类享受着信息爆炸带来的巨大机遇,同时也面临着“信息过载”的挑战。个性化推荐技术继网页分类目录和搜索引擎技术之后,成为当前解决信息过载问题的有效手段。无论是大型IT企业还是科研机构都致力于研究如何利用个性化推荐技术来提高用户的上网体验。然而,用户的兴趣会随着时间而不断地变化,如何通过捕获用户兴趣的变化来提高推荐质量给推荐系统带来了极大挑战;与此同时,由于网络用户量的急剧攀升,系统的可扩展性和处理能力也面临着巨大压力。  针对用户兴趣随时间变化的问题,本文从算法模型和推荐系统架构两个角度进行考虑。首先,从算法模型的角度,提出了使得项目关系模型能够动态变化的动态推荐算法。利用兴趣衰减特性度量项目之间的关联程度,提出了基于用户兴趣的项目关联度。并基于项目关联度对传统基于项目相似度的协同过滤算法和基于项目关联图的ItemRank算法进行改进,提出基于用户兴趣的TItemCF算法和结合时间因素的TItemRank算法。除此之外,利用项目关联度对SlopeOne算法进行改进,提出了IR-SlopeOne算法,解决了SlopeOne算法不能针对用户隐式行为数据进行推荐的缺陷;其次,从推荐系统架构的角度,设计出能够阶段性更新项目关系模型并且能够实时捕获用户行为的推荐系统框架——R&S RecEngine。  针对系统可扩展性和实时性问题。本文依据大数据架构Lambda的基本原理,设计了R&S RecEngine推荐框架,并在此框架下对提出的动态推荐算法进行重新设计,实现了R&S IRSO算法和R&S TICF算法。由于R&S RecEngine系统框架利用了当前主流的分布式平台Hadoop和Storm,因此具有高度的可扩展性和实时处理能力。
其他文献
当前广泛开展的大规模天文观测将产生海量的天体光谱数据。收集了海量的光谱数据后,需要对其分析和确定其类型,这可以帮助天文学家从统计学的角度研究天体的演化。因此天体光谱
数据融合这一概念最早出现在20世纪70年代末期,开始并未受到足够的重视。近几十年来,随着传感器技术的迅速发展,尤其在军事指挥系统中对提高综合作战能力的迫切要求,使其得到了长
塑料卡片(如电话卡,充值卡等)已经深深地渗透到人们生活中,其需求量非常大。在卡片生产实践中我们发现,每张塑料卡片上带有的独特信息(如电话卡账号、密码等)能够赋予卡片远超过
随着科学技术的不断发展,人们对印刷品质量有了更高的要求,税票印刷行业也是如此。然而,由于机械精度、印刷工艺等各方面的影响,税票印刷过程中不可避免的会出现污点、漏印、飞墨
随着软件系统的老化,软件演化已成为软件工程的一个新兴领域。软件演化就是指对遗传软件系统在其生命周期中不断维护,不断完善的系统动力学行为;是对软件系统不断地再工程,使之能
随着计算机技术的不断发展,企业数据库中所积累的数据也呈指数级别迅速增长,对海量数据中所蕴涵知识的探究促进了数据挖掘技术的研究。近年来,出现了基于数据流的数据密集型应用
目前,分布式对象技术已成为建立服务应用框架和软件组件的核心技术,它在开发大型分布式应用系统中表现出强大的生命力,逐渐形成了3种具有代表性的主流技术,即Sun公司的J2EE技术,Mi
空间数据是近年来一类快速发展、广泛存在的、重要的复杂数据,因此对空间数据进行分析具有重要的意义。空间数据挖掘技术能在空间数据仓库中挖掘与空间相关的隐含知识,为空间数
本论文工作源于国家自然科学基金项目(40372129,40202030)和北京市自然科学基金(4062020)以及珠海市基金项目(200531009,PC20051094)。近年来,城市目标监测是遥感技术的重要方向
CT(ComputerizedTomography),即计算机断层成像,是用来获取观测目标图像的一门技术。CT图像重建算法是CT应用的核心技术之一,CT图像重建的过程是由投影数据获得原图像的过程。在