基于注意力机制的视频显著性检测算法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:ZQF1234
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
显著性目标检测旨在识别出最重要和最让人眼感兴趣的区域,作为计算机视觉领域的一个热门方向,目前主要应用于目标分割、动作识别、目标跟踪等任务中。人类视觉的注意力机制是指人能够在复杂的场景中分配更多的注意力给显著性区域,这对显著性目标检测提供了一种可行方案。模仿人类视觉的注意力机制,本文针对目前视频显著性检测方法在处理特征时的无差异对待问题,采用基于空间域的注意力机制来提高对显著性目标的注意程度,并完成了基于空间域注意力机制的视频显著性检测算法设计。同时针对在视频特征提取中存在的时间、空间信息不一致性的问题,本文设计了嵌入注意力机制的conv LSTM结构,使网络能够提取时空一致性信息的同时极大限度的保持特征的空间结构信息,并最终完成了基于注意力机制的视频显著性目标检测模型设计。针对视频显著性检测存在的问题,本文主要的研究内容如下:(1)针对特征之间的差异性和对显著性目标预测的贡献不同,引入了视觉注意力机制对特征区分看待,并设计了一种基于空间域注意力机制的视频显著性检测算法。该算法核心是将基于通道、空间注意的注意力机制应用到视频显著性检测中,让网络更加关注显著性区域部分。该算法考虑到网络不同层次的特征存在差异性:网络的高层提取到更多的语义特征,而网络的浅层更加关注于细节信息,在网络高层加入基于通道注意力机制的单元,提高网络定位到显著性目标区域的能力;在网络浅层加入基于空间注意力机制的单元,提高网络抑制背景噪声的能力;设计高层特征指导浅层特征学习的方式来使网络更好的捕捉显著性目标。并最后进行消融实验通过F-measure值/F值、MAE值等指标分析验证算法创新点的有效性。(2)针对视频显著性检测如何建模时间域上信息的问题,本文为了进行更高效的时空特征预测的同时保证提取到时空一致性的特征,设计了一种基于注意力的时空一致性视频显著性检测算法。该算法在网络的高层设计了嵌入注意力机制的conv LSTM模块,将基于通道、空间的注意力机制嵌入至conv LSTM结构中,来获取更准确地时空一致性信息;采用双层的conv LSTM网络单元建模视频帧序列的前后帧之间的相关性。并最后通过消融实验进行了算法创新点有效性的验证,同时通过改变一次性同时处理的视频帧序列个数来验证帧个数对网络性能的影响。(3)本文通过充分的实验来验证本文所提出的算法的先进性。本文对比了视频显著性检测领域主流的11个基于传统方法和6个基于深度学习的方法的算法,并在DAVIS、FBMS、MCL等6个公认的视频数据集上进行了实验验证。从定性角度上可以看出,与其他主流算法相比,本文的算法具有定位准确,检测目标边缘清晰的优点;从定量指标中可以看出,本文的算法在公认的评估指标F值、MAE值等指标均取得了较好的结果,本文采用神经网络端对端的学习方式,不需要任何的预处理或后处理手段,最终达到了20fps的处理速度。
其他文献
视网膜图像里的血管是可以被观察到的一类微血管,其分布、结构和形态特征的变化能在一定程度上反映病变的程度。伴随着医学影像技术的发展,除了依靠人工进行视网膜疾病诊断之
乳房炎是奶牛养殖过程中造成减产的一种多发疾病,医学上利用牛乳体细胞中巨噬细胞、中性粒细胞、淋巴细胞和上皮细胞的类别数目进行分析,以此判断奶牛乳房的健康状况。为了提
当今社会生产关系的快速发展,新一代科技革命与制造业深度融合,智能化生产线需要使用更多的间歇运动机构以实现更高精确度的周期性转位。在种类繁多的间歇运动机构中,弧面分
目的:探讨小脑顶核电刺激对冠心病患者自主神经功能的影响,观察指标包括心率变异性、窦性心率震荡、心率减速力。方法:选取2018年4月至2019年3月期间于绵阳市第三人民医院、绵阳市中心医院心血管内科住院并接受冠状动脉造影检查的确诊为冠心病、且心率变异性降低的患者共104例为研究对象,按照纳入和排除标准确定是否入选试验。采用随机数字法分为对照组和试验组,试验组51例,对照组53例;并根据是否为急性心肌
优化问题在工程等领域广泛存在,具有很高的研究价值。为了解决优化问题,一系列优化算法被提出。其中一类优化算法被称为智能优化算法,这类算法从自然界中生物群体的社会性行
目的:观察瑶医火攻疗法配合瑶药敷贴治疗膝骨性关节炎的有效性与安全性,为临床应用提供依据。方法:将符合纳入标准且自愿参加治疗的90例膝骨性关节炎患者,随机分为火攻组、敷贴组、火攻+敷贴组,每组各30例。火攻组采用瑶医火攻疗法治疗,敷贴组采用瑶药敷贴治疗,火攻+敷贴组采用瑶医火攻疗法配合瑶药敷贴治疗。三组每周治疗3次,分别于治疗前及治疗8周后进行VAS评分、WOMAC评分,并记录不良反应情况。应用SP
随着光通信的不断发展,更大规模、更快速度、更高容量的信息传输系统,正潜移默化地改变大众的生活。传统的分立的光子器件存在体积大、功耗高等缺点,不再适应光通信网络的需
本文以不同钝化和氧化工艺LPNP双极晶体管为研究对象,采用60Co-γ射线、30Me V Si离子和1 Me V电子进行辐照试验。通过对晶体管电性能的测试分析,探究不同工艺对晶体管电离辐
无功优化(Optimal Reactive Power Dispatch,ORPD)是保证电力系统经济、安全、稳定运行最重要的调控途径之一,其目的是通过调节已知的控制装置对系统的无功潮流进行调整,以寻
马铃薯是新世纪以来在我国最为具有发展前景的高产经济作物之一,而马铃薯病虫害的频繁出现往往会直接导致其大量减产或者低产。及时发现并有效控制各种病害虫,对于确保马铃薯