基于Hadoop的个性化视频推荐系统的设计与实现

来源 :北京工业大学 | 被引量 : 8次 | 上传用户:yan3134
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机与互联网技术的发展,互联网上的数据迅速膨胀,其中视频数据更呈现指数级别的增长。视频数据内容丰富、数量巨大、结构多样,给用户检索带来极大的挑战,用户越来越难以在短时间内从海量视频数据中挑选出自己真正喜欢的视频,使得用户对个性化服务产生了迫切的需求。因此,个性化推荐应运而生。如何快速准确地从海量视频数据信息中为用户推荐其感兴趣的视频,达到提高用户检索效率的目的成为亟待解决的问题。本文的主要工作:(1)建立了视频数据预处理算法,该算法通过对原始视频数据进行解析、清洗、离散、归一化处理,为视频向量的构建提供了整齐规范的源数据;采用中文分词和词频统计对新闻类视频名称进行文本分析、制定关联规则,完成了对视频本体数据的关联补充,丰富了数据维度,为推荐构建了结构化的视频特征向量。(2)通过行为分析和建模处理,挖掘出了用户在类别、国别、年代、主演、导演、热度值、评分等维度的兴趣偏好,为推荐算法构建了基于视频特征的双层树状用户模型。(3)建立了基于内容的多维度推荐算法,该算法通过余弦相似度公式计算用户兴趣模型和视频特征向量在多个维度的相似度,并结合各维度权重设置,得到了用户对各视频的偏好值,完成了TOP-N推荐;通过添加混合策略改进了传统的基于项目的协同过滤推荐算法,改进后的算法解决了新闻类视频推荐中忽略实时性和热点性的问题。(4)本文实现的基于Hadoop分布式平台的个性化视频推荐系统,经过测试已达到设计要求,并实际上线成功应用于某智能电视中。
其他文献
空间数据库是近年的热点研究领域,而反近邻查询作为空间查询的重要操作被广泛研究。随着研究深入,在反近邻查询的基础上扩展了各种查询处理方法来满足人们新的查询需求,如互
在自动机理论中,因为许多证明从数学的角度看仍然不充分,所以传统的阐述往往不能令人满意。一个典型的例子就是在传统的自动机理论中,自动机的状态转换仅仅是通过转移函数来
伴随着互联网的飞速发展,人们对信息形式的需求不断的丰富化、多样化。而能够为客户提供高质量图像、声音等娱乐休闲服务的流媒体点播系统,以其客户可以根据需求自由选择播放