基于协同过滤的分布式电影推荐系统设计与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:maowang300miao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的普及和互联网技术的高速发展,各种各样的互联网应用正在逐渐渗透到我们的日常生活中,悄然改变着我们的生活方式。互联网信息种类复杂而繁多,网上购物时商品五花八门,如何帮助用户从中找到自己真正需要的商品,成为研发人员所面临的一个问题。推荐系统正是在这种背景下产生的。推荐系统通过对用户及其行为的分析为用户推荐商品,推荐算法有很多种,在业界应用最广泛、最成功的是协同过滤推荐。互联网数据爆炸式的增长,使得传统技术开始面临大数据的挑战,传统的推荐系统也在受到大数据的困扰,计算更加耗时,冷启动问题和矩阵稀疏问题更难解决。Hadoop是Apache的顶级项目,是目前比较流行且成熟的开源分布式平台。MapReduce是谷歌提出的分布式计算编程模型,它将一个任务拆分成多个子任务,分布式地运行于多个服务器节点上,以此提升数据计算和处理能力。在Hadoop平台上运行MapReduce任务是比较常用的大数据处理方法,这种方法也为推荐系统所面临的大数据问题提供了研究和实践的思路。本文研究工作由两部分组成。第一部分是推荐算法的研究与改进。首先分析和研究了常用的推荐算法,阐述了推荐算法中的关键问题,如实验方法和测评方法、冷启动问题、混合推荐技术等。然后重点研究了基于物品的协同过滤算法,并针对传统余弦相似度算法的不足,以用户评分基准值和用户评分时间两个特征作为出发点,提出了改进的余弦相似度算法。接下来,将MapReduce思想运用到传统的基于物品的协同过滤推荐算法中,实现了分布式的物品协同过滤算法。最后,对算法改进进行了实验。通过对比平均误差,证明改进后的余弦相似度算法提高了预测准确度;通过在Hadoop集群上运行分布式的算法,对比运行耗时等数据,证明分布式的物品协同过滤算法在大数据量时性能优于传统算法。本文研究工作的第二部分是电影推荐系统的设计与实现。系统整体架构中包括用户模型、电影模型、推荐引擎、离线计算模块、数据同步模块、数据转换模块、缓存模块、用户行为收集和反馈模块等。前端使用HTML5技术,采用响应式设计,使得系统可以适配包括PC、平板、手机等大多数设备。最后对系统实现进行了功能性测试,各功能模块运行正常。
其他文献
该文选用2011—2015年度内蒙古巴彦淖尔市7个旗县(区)146400hm2耕地采集的土壤样品,分析汇总全市耕地速效钾含量,速效钾测定方法采用LY/T 1236-1999《森林土壤速效钾的测定》方
<正>近日在农业部农业农村人才工作领导小组会议上,韩长赋部长指出,农业农村人才是国家人才队伍的重要组成部分,是农业农村经济发展的第一资源。当前,要充分发挥政府的主导作
<正>《中国共产党纪律检查机关监督执纪工作规则(试行)》(以下简称《规则》)是中央纪委在全面从严治党大势下,为规范纪检机关监督执纪工作,推进依规治党、依规执纪,把执纪审
范仲淹去世后,欧阳修在为范氏所撰神道碑中述及吕夷简与范仲淹解仇一事,后世纷呈是非,遂成学术公案。欧阳修撰写范仲淹神道碑时有避免各方势力不满的现实考量,在无所褒贬的理
萨特作为存在主义哲学家 ,其思想在《苍蝇》中得到艺术表现 ,而它们的形成与萨特的个人经历有着密切关系
保证所有人能够有效获取基础金融服务,事关低收入人口等社会弱势群体的根本利益,体现社会公平正义,是包容性发展战略的重要内容,构成金融法传统核心目标的实现条件。鉴于众多
会议
秦汉时期,探病是官僚体系内不同阶层进行政治结盟和政治表演的重要途径。对探病行为的研究,建立于以"人"为核心的基础上。通过还原秦汉一般探病流程,考察探病过程中"病人"与"
武汉,是一个对中国革命有着重要意义的城市。1927年前后,轰轰烈烈的大革命跌宕起伏,开国将帅们不约而同在武汉留下革命足迹,不仅改变了自己的命运,也改变了未来中国的走向。
目的:探讨胎粪吸入综合征采取高频振荡通气治疗的临床效果。方法:选取笔者所在医院接收的50例新生儿胎粪吸入综合征患者,时间为2015年6月-2018年12月,随机分为对照组(n=25,采
肾病综合征疗程长而且极易复发,如何对患者做好健康教育,减少复发,顺利完成治疗,是护理工作的重要组成部分。我们在工作中加强患者的健康教育,对提高其依从性显示出良好的效