如何从海量数据中快速、有效挖掘出用户感兴趣的信息或商品是推荐系统领域的研究范畴,随着大数据时代的到来,这一类需求更加强烈。尽管推荐系统在理论与应用上已经取得了一定成果,然而传统推荐算法面对大数据处理需耗费大量时间,无法满足在线实时推荐的应用需求。Spark内存计算平台的出现能够为提高推荐算法运行效率与实时性提供技术支撑。本文旨在利用Spark平台对推荐算法进行优化与并行化实现,并且利用流计算框架实现一个能够满足离线与在线推荐相结合的推荐系统。基于Spark平台与相关的大数据技术,本文的研究内容如下:(1)协同过滤推荐算法的优化与并行化实现。针对基于用户的推荐方法迭代计算效率低的问题,利用Spark实现基于聚类的方法来加快算法的运行效率,针对ALS方法忽略相似度信息的缺陷,使用与KNN结合的KNN-ALS模型方法。同时为改善用户相似度计算时出现的量纲差异使用修正的相似度度量方法。(2)基于Spark的推荐系统实现,在大数据技术的基础上,利用Spark搭建离线与在线结合的推荐系统,其中离线推荐重点对数据仓库与推荐引擎设计,在线推荐则主要通过Kafka与Spark Streaming框架结合实现实时推荐设计。在电影数据集上的实验结果表明,离线推荐上,改进后的并行化推荐算法在相关评测指标上均通过了测试,另外,系统搭建的数据仓库在读写性能与存储空间上相比传统存储方式都具有非常大的优势;在线推荐上,通过Kafka与Spark Streaming的结合,完成了数据的实时加载与模型的更新,能够在动态数据环境下完成在线推荐。