【摘 要】
:
随着互联网的不断发展,信息过载问题也愈发严重和引起人们的关注,为了有效地利用信息,点击转换率(CTR)预估越来越成为互联网公司核心技术之一,吸引了大量研究人员从事该领域的研究工作。本文基于深度学习与注意力机制技术,聚焦于如何从数据中挖掘出有效的特征信息来提高模型点击率预估的性能,提出了三种基于注意力机制的CTR预估模型:·输入输出感知的注意力因子分解机(IOFM)本文提出该模型旨在解决在现有的注意
论文部分内容阅读
随着互联网的不断发展,信息过载问题也愈发严重和引起人们的关注,为了有效地利用信息,点击转换率(CTR)预估越来越成为互联网公司核心技术之一,吸引了大量研究人员从事该领域的研究工作。本文基于深度学习与注意力机制技术,聚焦于如何从数据中挖掘出有效的特征信息来提高模型点击率预估的性能,提出了三种基于注意力机制的CTR预估模型:·输入输出感知的注意力因子分解机(IOFM)本文提出该模型旨在解决在现有的注意力网络因子分解机中,粗粒度的注意力分布表示限制了模型对特征的学习能力,以及忽略了特征所隐含的字段信息等问题。模型中设计了两个感知辅助矩阵在计算特征交互权重时增强注意机制的特征学习能力和注意力分布细粒度。此外,该模型中还通过一个共享矩阵将两个感知辅助矩阵正则分解,以进一步减少模型参数,降低模型复杂度,提高模型的性能。·基于多层注意力机制的点击转化率预估模型(MAIM)考虑到IOFM模型等一系列基于因子分解机FM的模型只聚焦于显式地学习模型的低阶交互特征,不利用模型对高阶特征的有效学习,且这种显式的特征交互使得特征空间复杂度巨大,对模型训练带来极大挑战,提出了基于多层注意力机制的点击转化率预估模型。MAIM模型通过串行叠加注意力模块取代原有基于FM的模型中显式的成对二阶特征交互,避免因显式进行特征交互而增加模型复杂度与训练难度,提高了模型效率。同时串行叠加注意力模块的设计,达到了学习更高阶特征交互的目的,也增强了模型的特征学习与表达能力。此外,该模型中保留了在IOFM模型中设计的两个感知辅助矩阵,并在注意力层中引入了残差设计,进一步提高了模型的性能。·结合DNN的多层注意力点击转化率预估模型(MAIM-DNN)考虑到如今不少基于深度学习的CTR预估模型都采用了浅层与深层分层训练再融合的方式来提升模型效果,并且深度前馈神经网络能够有效的学习到高阶特征,对模型训练有着重要影响,本文提出了结合DNN的多层注意力点击转化率预估模型MAIM-DNN,在MAIM模型的基础上集成前馈神经网络进行联合训练,达到进一步增强模型对特征的表达能力的目的。以上提出的三个模型,都在公开、真实的数据集上做了大量的实验,并与当前前沿的点击转换率预估模型进行实验对比,实验结果表明本文提出的三种基于注意力机制的点击转换率预估模型性能都优于其他对比的模型。
其他文献
天然气作为清洁、低碳的能源品种之一,正在世界范围内成为越来越重要的能源。在天然气的生产过程中,天然气脱水是一个非常重要的环节,天然气脱水装置的设备维护对于石化企业的生产工作的高效开展至关重要。天然气脱水装置的异常识别研究能够辅助设备维护,提高维修效率,保障设备正常运行,减少因设备故障带来的损失。本文作为重庆气矿2018年度科技项目计划项目的一部分,利用基于数据驱动的异常识别方法,对中国石油西南油气
作为智能机器人关节的核心,谐波减速器具有体积小、传动比大、间隙小、质量轻等一系列独特优势,已被广泛应用在航空航天、工业物流、医疗健康、生活服务等重要领域。但谐波减速器内部的微观传动机理复杂不明,运行时会受到迟滞、摩擦、传动误差等非线性传动特性的不良影响。鉴于此,本文分别对谐波减速器的迟滞特性、摩擦特性、传动误差进行非线性动力学建模与分析,并在此基础上构建一个综合考虑这三类非线性传动特性以及波发生器
数控机床关重件的残余应力水平影响着机床的精度保持性。目前机床残余应力研究大多只对关重件残余应力数值大小进行测量,仅仅对于残余应力的消除效果进行分析,缺乏数控机床关重件残余应力水平评价方法,并且企业的热时效工艺相关参数仅停留在经验认知的范畴。经研究发现,机床服役过程中的蠕变变形主要由残余应力所引起,并且机床关重件的蠕变变形对机床加工精度有重要影响;而借助有限元可以对零部件热时效工艺残余应力水平进行分
混合式液压机械传动(Compound Coupled Hydro-mechanical Transmission,CCHMT)是液压机械功率分流复合传动中的一种。该结构利用两组差动轮系同时工作,实现对功率流的分流与汇流,相对于单排差动轮系的液压机械复合传动,具有调速范围广、适用性高、结构灵活等优点,能根据不用的应用工况有效调节系统的传动特性,具有广泛的应用前景。但由于混合式液压机械复合传动的传动结
低温键合技术是近几年来晶圆键合技术研究的热点。低温键合技术可以规避高温工艺给器件加工带来的风险,具有方法多样、操作简单、适用性强等优点,在新型半导体材料研制,高性能微纳器件制备,三维集成与封装、高密度互联以及集成光子学等领域具有重要的应用,逐渐成为前沿学科领域中微型元件的基础核心技术。论文分析了晶圆低温键合技术的国内外研究现状,针对低温键合技术中存在的科学与技术问题,开展圆片级低温硅硅键合技术的研
齿轮箱作为大型旋转机械设备中能量转换的核心部件,被广泛的应用于各种旋转机械设备当中。如果齿轮箱中的关键零部件轴承或者齿轮发生故障将导致齿轮箱发生故障,造成生产事故,可能会造成经济损失和人员伤亡,因此有必要对齿轮箱进行故障诊断。如今的机械故障监测系统使用的传感器的种类和数量越来越多,需要监测的周期也越来越长,各类传感器数据急剧增长,机械故障诊断已经进入了大数据时代,大量传感器数据的分类和存储变得十分
人字齿轮传动具有啮合平稳、承载能力大、传动效率高等优点,在重型机械设备、航空航天、船舶重工等行业已被广泛应用。近年来,人字齿行星减速器正朝着高速、轻型、精密化方向快速发展,对其减振降噪及轻量化设计提出了更高要求,因此如何准确地进行齿轮箱动力学性能评估已成为工程领域的研究热点。本文在国家重点研发计划项目资助下(项目号:2018YFB2001502),给出了人字齿轮及轴承的有限元建模方法,利用非线性仿
齿轮分扭传动系统是一种新型的机械传动系统,具有质量轻,传动级数少,传动效率高,可靠性强,噪声低等特点,广泛应用于航空、船舶等领域,具有很好的发展前景。均载特性是衡量系统传动性能的关键因素,因此有必要对其进行大量研究。本文把基于分扭传动系统设计的齿轮箱作为研究对象,对其均载特性进行了测试与研究。介绍了弹性轴系扭矩传递原理,得出柔性轴负责扭矩的传递,刚性轴负责支撑的结论,通过仿真技术,验证基于弹性轴系
保宁醋是中国四大名醋之一,其酿造过程中所使用的“中药醋曲”采用生料发酵,并于开放性的环境中自然通风进行生产,整个发酵过程易受外界环境波动影响且菌系、物系、酶系相对复杂多变。本文以冬、夏两季保宁醋“中药醋曲”不同醅层发酵过程中的醋曲样品以及四个季节的成品曲样品为研究对象,采用高通量测序技术和传统微生物培养方法结合常规理化指标分析,阐明微生物菌群及理化性质在发酵过程中的动态变化,以及不同季节和不同醅层
含钠有机废液送入焚烧炉焚烧,进行无害化处理的过程中,钠盐在高温下热解挥发,对炉膛的耐火材料造成腐蚀。在含钠有机废液中掺混钠盐吸附剂,可以减少钠的释放,有效缓解钠盐对耐火材料的腐蚀。研究钠盐的高温挥发特性以及钠盐吸附剂的固钠特性,对缓解钠盐对耐火材料的腐蚀有重要作用。目前针对钠盐的高温挥发特性及其对耐火材料的腐蚀特性还缺乏系统的研究。因此,本文系统的研究了有机废液中常见钠盐的高温热解特性,并以高岭土