论文部分内容阅读
伴随网络的高速发展和计算机技术的日新月异,电子商务中出现了信息过载的现象。为了尽快地处理类似情况,推荐系统随之诞生,此中以协同过滤算法为基础的系统更是得到了具大的肯定。但还是存在一些不易解决的问题,其中影响最大的就是数据过于稀疏的问题。本文主要针对协同过滤推荐系统中稀疏性数据的现象,提出优化传统算法的方案。首先,深入研究传统协同过滤推荐算法在稀疏性数据的场景下,相似度计算存在的优缺点,对比并且对其修正,得到基于改进计算方法的协同过滤算法。然后,根据稀疏数据的特征对用户—项目矩阵利用改进PCA减维。将通过建立可扩展聚类方法,对原始数据利用优化的K-Means算法进行有效聚类,得到针对稀疏性数据的基于降维和聚类的协同过滤算法,并将在电影推荐场景中使用优化后的算法。主要研究内容包括:(1)深入研究传统计算方法在评分数据异常稀疏的场景下,无法准确的表达用户间相似程度的问题,并在此基础上提出相应的改进方案。针对传统的相似度计算方法普遍没有考虑用户之间的共同评分项数量的问题,以及考虑到每个用户的评价标准是不一致的问题,对相似度计算进行改进。得到优化的协同算法,能更加全面考虑传统计算方法存在的缺陷。(2)研究处理稀疏数据的有效方案。分析改进主成分分析PCA,并将其用来对过于稀疏的评分矩阵进行减维处理,有效较低数据的稀疏度。研究可扩展性的改进聚类方法,对初始数据集利用优化的K-Means算法对其进行有效聚集,将具有高相似性的用户划分到相同的类中,能更好的构造用户邻居集,从而减少稀疏数据对算法的影响,同时改善传统协同过滤算法在选取邻居时计算过于复杂度的问题。最后利用电影数据集movielens对本文的优化算法进行验证,仿真表明在电影推荐场景下,确实能改善稀疏性问题。