基于注意力神经网络的文本内容推荐研究

来源 :兰州交通大学 | 被引量 : 0次 | 上传用户:gd1000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在当前大数据环境下,随着文本应用规模的不断增大,信息过载问题愈演愈烈,已成为当前文本应用领域亟须解决的问题。推荐系统作为一种根据用户的信息需求和兴趣偏好向用户提供决策支持的特殊手段,对于解决信息过载具有显著意义。对于推荐方法来说,好的特征提取能力能对推荐系统起到事半功倍的效果,因此,基于深度学习的推荐方法随着深度学习在特征提取能力上的天然优势成为解决信息过载问题的重要研究热点。在文本应用领域,文本应用数据量剧增导致的数据稀疏性问题依然严重,且在以往的文本推荐任务中,对于用户的长期兴趣建模推荐较多,但是通过用户的心理规律分析,用户的兴趣会随着时间、环境、当时状态等的影响而发生迁移。基于上述考虑,本文从缓解文本应用平台数据稀疏性问题出发,针对用户的长期兴趣和短期兴趣分别提出不同的推荐方法,主要研究内容如下:(1)针对用户的长期兴趣,提出了基于多通道注意力CNN的推荐模型,模型不仅使用了显式数据(用户信息、用户喜欢的文本),而且还使用了隐式数据(用户不喜欢的文本、相关文本的作者信息),丰富了用户画像表示;通过句向量(PV-DM)的方法分别将用户和文本信息嵌入到低维稠密的矩阵中,克服了传统文本表示方法编码稀疏、维度过高的问题;考虑到一般文本内容较长,为了能有效抓取词与词、词与句子之间的关联性,在文本信息通道中使用了注意力CNN进行处理。最后将各通道的输出矩阵首尾连接得到用户的最终表示,经Sigmoid函数来预测每个目标文本的概率产生推荐。试验结果说明本文提出的模型具有一定效果。(2)针对用户的短期兴趣,提出了基于异质注意力RNN的推荐模型。为了缓解数据稀疏性、准确的对用户偏好特征建模,除了将文本内容信息嵌入模型中外,还启发性的将用户的关系网络也嵌入模型,分别使用句向量和TransR的方法将以上两种数据嵌入到两个不同的矩阵中,将这两个矩阵的融合作为用户兴趣的抽象表示;在短期模型构建中,为了充分表示用户短期内潜在偏好特征的动态性,使用Encoder-Decoder作为模型的基本框架,将用户短期内的偏好行为作为编码器的输入,并在编码器和解码器中间引入Attention机制的方法来建模用户的偏好变化的动态性;最后通过Bi-GRU层、前馈层和softmax层,得到推荐列表。实验结果说明本文提出的短期推荐模型推荐准确性上具有优越性,同时还能向用户推荐新的文本项目。
其他文献
随着分子科学的发展,越来越多的双稳态体系被用作分子基材料器件的载体,在温度传感器、光开关及信息记忆、存储等领域得到应用。可逆的自旋转换伴随着滞后现象和颜色变化,使
以纳米粒子为基本单元,构建高级有序的纳米结构,实现功能增强和功能集成,是纳米科学和材料科学的重要研究方向。研发简单、快速、高效的纳米粒子聚集体的制备方法,实现形貌、
本作品是对上海《东方体育日报》的总编辑杜旻进行的深度人物采写。杜旻的身份历经《新民晚报》体育记者,《新民体育报》记者,《东方体育日报》主编等。本作品主要讲述他率领
为了进一步保障公共场所内的安全与稳定,基于视频监控的人体行为识别技术得到了全社会的广泛关注。已有的基于深度学习的人体行为识别方法计算复杂度高、模型泛化性差且很难
稻谷是世界上主要的粮食作物之一,也是世界上大多数国家的食物来源,但贮藏过程中稻谷食用品质的劣变严重影响了稻谷的有效利用。本文以粳稻龙江A、龙江B、籼稻稻花香、秋田以
汽车运输是产煤地与周边省份之间煤炭短途运输的主要方式。目前,煤场的车辆多由人工调度,存在装运效率低、数据准确性和可靠性无法保证、煤场车辆管理不规范等问题。为了保障
在信息时代,为了顺应智能化的趋势,布置成本低、能耗低、管理便捷,监测数据种类多样的无线传感器网络得到广泛应用。然而,由于体积限制,无线传感器的电池容量有限,又难以频繁
等离子体天线是由等离子体参与天线组成的一种新型天线,由于其本身具有诸多性能优势,自其概念提出起就受到了国内外研究领域的重视。等离子体天线主要分为介质型和反射型两大
因着社会发展、科技进步的需要,人们对系统的研究范围越来越广,并且对系统的研究越来越复杂深入。脉冲系统和切换系统作为两类混合系统,都有各自的性质,利用这些系统模型可以
随近年来国际形势的发展,各国的战略重心逐步向海洋转移,水下物体的三维可视化技术在海洋科学,船舶检测,安全与防御等领域的应用变得愈发重要。水下存在各种粒子和分子,而它