基于特征融合的RGB-T图像显著性目标检测

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:edwardlj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像显著性目标检测主要目的是从海量的图像中快速精准地定位人们感兴趣的内容,即检测出不同场景中最吸引人注意的目标。因其具有极高的理论研究价值和实际应用意义,显著性目标检测在图像处理、计算机视觉、模式识别、人工智能等领域内引起了广泛的关注。当前已经有许多基于RGB图像的显著性检测算法展现出优秀的检测能力,但这些算法在处理光照不足、背景嘈杂或存在噪声干扰等复杂场景下的显著性目标检测问题时,检测效果仍然不理想。为了克服这一问题,本文研究了RGB-T图像显著性目标检测,利用热红外相机对光照和天气变化的鲁棒性,使用热红外图像为RGB图像提供互补信息,并提出了一种新的RGB-T图像显著性目标检测算法。论文的主要工作如下:首先,考虑到RGB图像对光照、天气等环境因素的改变比较敏感,且当前的RGB-T图像显著性目标检测算法无法适应性地融合多模态互补信息,深度模型学习到的丰富的上下文信息也没有得到充分有效的利用,本文通过探索深度卷积网络模型中的一系列特征融合问题,挖掘RGB-T图像显著性算法的潜在问题,提出了一种新的基于特征融合RGB-T图像显著性目标检测算法,本文探索的三个特征融合问题分别为多尺度特征融合,多模态特征融合以及多层级特征融合。然后,通过探索多尺度特征融合问题,提出了一个混合池化多孔(HPA)模块,用于对单模态特征捕获丰富的多尺度上下文信息,该模块通过扩大对特征的感受范围以及捕获更强的局部细节信息,获得的多尺度上下文特征具有更强的表征能力和更好的空间一致性。在进行多模态特征融合时,提出了一个互补加权(CW)模块,用于适应性地融合多模态特征中的互补信息,与已有的多模态特征融合策略相比,该模块通过学习与图像内容相关的权重图来自适应地融合多模态信息,权重图能够从全局的角度衡量不同模态特征的可信度,使得尽量融合与显著目标区域相关的互补信息。将不同层级上的多模态特征融合后,需要结合这些层级上的融合特征来获得更加精细的显著图,这里构建了一个语义引导(SG)模块来对低层级空间细节信息进行筛选,获得语义感知的低层级特征,即利用高层级全局语义特征对低层级特征的前向传递进行控制把关,从而实现有用信息被传递和冗余信息被抑制的目的。最后由多层级特征融合结果得到最终的预测显著图。最后,利用Tensor Flow深度学习平台和python编程语言来实现本文算法的搭建,使用一块NVIDIA GTX 1080 Ti GPU来完成模型的训练和测试。基于多个公开的RGB-T图像数据集,设计了一系列的对比试验,将本文算法与当前主流的图像显著性目标检测算法在客观评价指标和主观预测图上进行对比,实验结果表明本文算法有着更加优异的表现,特别是在光照不足、背景嘈杂、存在噪声干扰等复杂场景下的检测效果明显优于其它算法,本文算法能更有效融合多模态互补信息,显著性目标区域具有更好的一致性,背景干扰信息能得到有效抑制。
其他文献
铁路运输当前对于我国经济建设也做出了突出的贡献,同时铁路也是展现国家实力的重要形式。当前在铁路维修上常用的机械设备为捣固车,由于长期以来它的工作环境较为恶劣,轴承
随着知识经济的到来,科学知识到技术创新的应用和工业生产的产出一直颇受关注。有效地展现科学-技术-生产力的知识流动,能够帮助研究人员对知识的应用和产出过程有清晰的认识,为相关管理政策的制定和各类资源的合理配置提供科学的依据,具有重要意义和现实价值。专利作为技术创新的载体,是连接科学知识和工业生产力的重要纽带。利用专利对科学文献的引用关系和专利到企业的转让关系来探究知识流动和转化的过程在现有的研究中是
人体行为识别融合了图像处理、机器学习、模式识别等许多领域的研究内容,是计算机视觉领域的热点和难点。近年来,越来越多的学者和机构致力于这一领域的研究热潮。随着研究内容的不断深入,研究重点已从简单的动作识别逐渐发展为对复杂行为的分析,理解和识别。然而,复杂行为识别是一项具有挑战性的研究任务,影响因素包括不受约束的复杂环境,背景杂乱和视点变化等。因此,提取有效且具有鉴别性的特征表示对于改善识别性能是非常
微小位移的检测手段发展至今已有多种,测量准确性也不断提高。高分辨率微位移测量技术主要包含电测,显微镜等测量方法的非光学测量技术和以激光干涉仪为代表的光学测量技术两大类。由于工业测量领域的不断扩展以及对测量精度的不断提高,经典的接触式测量已无法满足工业界的要求,而非接触式测量存在许多优点,已成为测量领域的研究热点之一。本文通过非接触测量中的单目视觉与激光点复合,对微小位移的高精度测量进行了理论研究与
在信息化和全球化的大背景下,信息化建设已然成为企业长远生存和发展的希望,企业高管们也期盼信息化建设的高投入能给企业带来收益的高回报。与此同时,随着信息化建设的不断演进,也出现了一系列问题:重复投资、功能与需求不匹配、信息孤岛等,这些问题直接导致了信息化建设的性能低效与资源浪费。伴随着企业信息建设的不断发展探索,全球企业家及学者们对信息化研究也与时俱进,提出了很多信息化提升改进方法策略,而企业架构T
养鸭业是我国传统的养殖行业,丰富的鸭产品对于人们对高品质生活的追求十分重要。然而在生产中,养鸭业经常面临疾病爆发的风险,细菌性疾病的防控过程中,通过研究开发出药物的新剂型,从而改善临床上的不足是一种十分可取的方式。甲砜霉素是一种在兽医临床上被广泛的应用于畜禽的消化道和呼吸道性疾病防治的广谱类抗菌剂。随着药剂学的发展,胶束作为一种有效的药物载体受到广泛关注,将聚合物胶束技术应用于甲砜霉素能够克服甲砜
明清时期的晋商与陕商作为依托地缘关系而兴起的商人集团,在较长的历史时期和较广的经营空间内都是以联省商帮面目出现的。但当前对于山陕商人内部合作关系的研究没有获得足够多的重视。因此,深入研究明清时期山陕商人之间的组织合作及其制度选择,不仅对丰富明清山陕商人相互关系的研究具有深刻的历史和理论意义,而且对促进我国当前现代企业建立符合外部环境及自身实际的合作模式,推动新晋商、新陕商获得可持续发展亦具有一定现
商人行为对于区域经济的发展有着特殊的作用,本文拟以明清晋南地区和晋中地区为例,在现有史料的基础上,运用历史学、社会学、经济学等理论,通过个案研究的方法,对学界关注较少的要素禀赋、商人行为对区域经济发展的关系进行探讨。晋南地区依靠自身的资源优势(河东池盐)及自身的农业发展优势而借助政策契机发展起来的,要素禀赋带动了商人的行为,商人行为和要素禀赋促进了商人的分工和专业化,减少了交易成本,二者之间的相互
非完备几何特征水下测量数据建模技术是逆向工程CAD建模技术的重要组成部分,该技术通过水下测量获取被测物体的数据信息,并依据已有数据的特征对原本破损残缺的区域进行重组匹配,从而重建被测物体的原貌。随着交叉学科研究的不断发展和数字化设计技术的不断完善,将非完备几何特征水下测量数据建模技术应用于水下考古领域,可以提高水下文物快速成型的质量和效率。又考虑到水下文物中大部分是以碗状器型存在的碎块,因而本文在
黄曲霉毒素B1(AFB1)是毒性最强的一种霉菌毒素,广泛的污染粮食与饲料,严重影响畜牧业的经济效益。畜禽摄入AFB1后出现中毒现象,会降低机体免疫力,破环肝、脾、肾等解毒器官结构和功能。肾脏是AFB1的解毒器官之一,AFB1代谢产物也主要由肾脏排出体外,且在肾脏的残留量很高,可使肾脏发生不可逆损害。牛磺酸具有较强的抗氧化能力,对减轻细胞损伤、防止细胞凋亡也具有良好的效果。大量研究也表明牛磺酸对多种