渐进式可变形注意力的序列推荐研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:smxsnjzch
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
推荐系统在缓解信息过载方面发挥着重要作用,并已经广泛应用于各种在线服务,例如电子商务、音乐和电影。特别地,序列推荐是一项具有挑战性的任务,其目的是预测用户在给定历史行为的情况下可能与之交互的潜在项目,旨在基于用户的历史行为来模拟用户偏好的演变。最近,Self-attention模型因为其良好的性能在序列推荐领域得到了广泛的应用,它通过在序列中的所有项目之间建立稠密的连接来捕获全局感受野。然而,盲目地扩大的感受野也引起了一些问题。第一,query可能会受到用户不真实兴趣的影响,例如随意的点击和不相关的点击,从而引入许多干扰信号。第二,稠密注意力机制表现出很大的复杂性,这会导致内存和计算成本的增加。为了解决这些问题,该论文提出一种具有渐进式采样策略的可变形注意模型,并将该模型应用于序列推荐任务。这种可变形注意力操作可以以数据相关的方式自适应地为每个query选择交互项目,从而消除稠密注意力操作的冗余和噪声。作为稠密注意力机制的替代品,模型中的每个query只需要与几个具有代表性的token进行交互,这具有线性时间复杂度。这种细粒度的交互可以增强特征的表示能力并且可以更准确地建模用户兴趣。此外,还提出了一种渐进式采样策略,以迭代方式渐进式地生成采样点。通过这种精细化的设计,候选的key-value交互对就被分配给更加重要的用户行为,从而以更高的灵活性和效率增强了原始的自注意力操作,以捕获更多信息的序列特征并消除噪声相关性。总而言之,该论文的贡献在于:(1)提出了第一个用于序列推荐任务的可变形注意力模型,它是依赖于数据的稀疏注意力机制,赋予了模型更高的灵活性和效率。(2)提出了一种渐进式采样策略来细化不同层的采样点,这有利于在序列数据中定位有用的行为。(3)在四个真实世界数据集上对提出的方法进行了评估,表明提出的DAPS-Rec模型优于目前最先进的方法。(4)将提出的DAPS-Rec模型应用在真实的场景,即网易云音乐的直播推荐场景中,通过线上AB Test效果比较,验证了DAPS-Rec模型在真实业务场景中的有效性。
其他文献
分布式四驱电动汽车各驱动电机独立可控,传动高效,控制灵活,可以提高汽车的行驶能力,其驱动系统动力单元冗余的配置也为失效控制提供了基础,是当前电动汽车领域的前沿热点。本文以分布式四驱电动汽车为研究对象,建立车辆动力学模型。首先根据横摆稳定性需求,绘制不同车速、路面附着系数及前轮转角下的质心侧偏角-质心侧偏角速度相平面,建立稳定边界模型,将相平面划分为稳定区、临界区以及失稳区三部分,并得到当前工况点的
学位
报纸
胃癌是致死率最高的癌症之一,在胃癌早期准确判定胃部发生病变并精准找出病灶区域,是提高患者预后效果的关键。临床上通常使用显微镜下胃部组织病理切片图像进行人工筛查,诊断的准确率取决于医生的经验,病理图像具有分辨率高、染色效果多样,病灶区域形态纹理不规则的特点,给医生的准确诊断带来挑战。近年来,深度学习网络在癌症病理图像分割领域快速发展,深度学习方法在捕捉病理图像中肉眼难以观察的细节,建模病灶区域特征中
学位
随着移动可穿戴技术及其应用的快速发展,基于可穿戴传感器的行为识别技术成为近年来的研究热点,在健康监测、环境辅助生活、人机交互等领域得到广泛应用。人体行为识别的目标是在非受控环境下实时、准确地识别目标用户的动作。不同于图像或视频信息,直接佩戴于人体的运动和生理传感器更容易受到用户运动习惯、个体间差异、设备佩戴模式等因素的影响,使得不同用户之间的传感器数据存在较大的分布差异,降低了模型的跨用户识别性能
学位
医疗技术、计算机技术和移动通讯技术的快速发展,使得人民对于医疗系统效率期望提升,建设智慧医疗平台进行计算机辅助诊断系统的需求也在不断增加。在计算机辅助诊断系统中,对医学影像进行精准地分析和总结是不可或缺的一步。深度学习技术在通用视觉语义分割任务上的巨大成功,推动了相关研究人员在医学图像方向上对其的发展与应用。面向智慧医疗系统设计的医学图像语义分割算法,需要结合对应医学图像的特征,设计高效的算法来进
学位
近年来随着3D传感器的普及,人们越来越多地使用更加直观和信息丰富的三维数据,三维模型数据也变得更加复杂和规模庞大,如何有效地从三维模型数据库中检索出目标模型,成为了当下一个研究热点。针对三维模型检索任务,本文选取点云数据作为三维模型的表示形式,设计了基于分类任务和采用Siamese结构的基于特征距离函数以及基于特征差分网络的三种三维模型检索算法。基于分类任务的三维模型检索网络将检索问题转换为分类问
学位
报纸
永磁同步电机具有结构简单、体积小、功率密度高和功率因数高等显著优点,其中,内置式永磁同步电机因为磁阻转矩的存在,拥有更高的起动转矩密度,而内嵌的永磁体布置也保证了较高的机械强度,因此内置式永磁同步电机在高速大扭矩的应用场合更受青睐,成为当前国内外新能源车企首选的主驱电机。为了降低铜耗,内置式永磁同步电机在基速区内会采用最大转矩电流比控制。然而,内置式永磁同步电机作为一类复杂的受控对象,其电机参数具
学位
期刊
农村生活污水治理是改善我国农村地区生态环境质量的重要措施。目前,我国大部分地区的农村生活污水治理仍处于攻坚克难阶段,农村生活污水直排入河或处理不当都会破坏农村生态环境,甚至威胁居民的身体健康。本文以苏州市吴江区农村生活污水治理项目为例,针对农村生活污水的特点,提出适合的治理措施,同时探究了负压排水等新技术用于农村污水治理的可能性。希望本文能够为农村污水治理工作提供一定的经验借鉴。
期刊