基于Spark大数据的短视频推荐系统的设计与研究

来源 :南昌大学 | 被引量 : 0次 | 上传用户:lihongde313
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在当今时代,科学技术飞速发展,短视频靠着短小精悍、内容丰富、生动鲜明等特点逐渐走向了日常生活。短视频作为当今休闲娱乐的重要活动方式,为用户提供了大量精彩的内容。而面对爆发式增长的短视频资源,如何获取用户感兴趣的短视频是一个需要解决的问题,推荐系统随之应运而生。大部分短视频行业如抖音、快手、今日头条、微博、秒拍等的运营均采用了各式各样的推荐策略。推荐系统的功能在于根据用户的基本信息、喜好、浏览历史以及评分记录等,将用户感兴趣的内容呈现在用户面前。然而,短视频推荐系统事实上往往存在需要面对海量计算以及推荐算法面临的数据稀疏性问题。基于此背景,本文提出了采用Spark数据平台的方式以及一种改进协同过滤与内容推荐的短视频混合推荐算法。主要所做的工作如下:针对需要面对海量计算的问题,本文采用了Spark大数据平台来应对大规模的数据处理。Spark是与Hadoop相似的开源集群计算环境,但与Hadoop不同的是Spark可以将Hadoop集群中的应用在内存中的运行速度提升100倍,甚至能够将在磁盘上的运行速度提升10倍,有效的缓解了短视频推荐系统所面对的需要海量计算问题。针对数据稀疏性问题,有的学者提出了一种基于协同过滤与内容推荐的短视频混合推荐算法,本文将在此基础上提出一种改进协同过滤与内容推荐的短视频混合推荐算法。通过短视频的分类标签以及用户的评分历史来计算短视频之间的相似度,再预测用户-短视频评分矩阵中缺失的评分值并填充,有效的缓解了短视频推荐系统所面临的数据稀疏性问题。
其他文献
学位
随着通信技术的快速更迭,以及居民生活水平的提高,智能手机逐渐成为人们生活中极为重要的一部分。如今5G时代已经来临,国产智能手机率先进入全球市场,然而面对国际市场的激烈竞争,制造商怎样才能有效应对市场变化呢?制造商若想实现长期稳定的发展,必须对自身及行业的发展状况能够客观、真实、准确的做出评价,因此对其综合发展能力的评价则尤为重要。本研究以中国智能手机制造商为研究对象,首先从5G背景出发,表明我们现
学位
学位
迄今为止,环境问题日趋严重,生物质是广泛被认为最有可能取代石油等化石燃料来生产化工产品的材料,开发与利用生物质资源,对改善生态环境等方面有重大的意义。目前生物质的加氢转化主要依赖于Pt,Pd,Cu等金属结构催化剂,这类催化剂大多存在烧结、钝化、毒化、易腐蚀等局限性,且大多成本较高。针对目前主要以金属结构为主的生物质加氢转化催化剂的应用局限,我们引入了稀土磷酸盐并制备了一系列用于生物质加氢转化的Nd
学位
学位
学位
学位
信息技术的快速发展衍生出一种新型内容信息传播系统——网络媒体,这种媒体改变了公众接受外界信息的方式。近年来,用户对于网络媒体的使用意愿与体验感知受到了学界的广泛关注,但是对于网络媒体的特殊分支——参与式视频网站(哔哩哔哩弹幕网)的研究缺乏深入探究用户的使用意愿与体验感知。基于此,本文通过理论与实证相结合的方法,聚焦哔哩哔哩弹幕网主用户群,结合互联网人因工程用户体验理论与结构方程模型(SEM)来对哔