复杂背景和相似物体干扰的孪生目标跟踪方法研究

来源 :南昌航空大学 | 被引量 : 0次 | 上传用户:anabaow1a1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目标跟踪是计算机视觉领域中最具挑战性的研究方向之一,在智能安防、军事制导、人机交互等领域具有广泛应用价值。其任务是根据第一帧中给定的待跟踪目标,在后续视频帧中推理目标的运动轨迹。基于孪生网络的目标跟踪方法兼顾速度和跟踪性能,是目前主流的跟踪方法,但是这类跟踪器的骨干网络存在网格伪影现象,相似性度量函数无法有效区分复杂场景和相似物体干扰下的目标和背景等问题,导致在复杂背景和相似物体干扰下易丢失目标。本文从增大目标和背景的类间距离、提高骨干网络提取特征的判别性两个方面入手展开研究,主要工作如下:1)提出基于正交区域生成网络的孪生目标跟踪方法。目前主流的孪生跟踪器在嵌入空间中学习相似性度量函数,以此区分目标和背景。但当存在复杂背景或相似物体干扰时,目标和背景存在相关性,它们的类间距离减小,学习到的相似性度量函数无法区分目标和背景的分类贡献,导致分类响应图中存在大量错分像素点,出现目标漂移。为了解决这个问题,首先,分析跟踪器丢失目标的原因,提出增强目标和背景的正交性来增大类间距离,提高相似性度量函数的稳定性。在此基础上,提出正交区域生成网络。通过正交模块增强目标特征,抑制背景特征,增强目标和背景的正交性。最后,提出自适应逐像素融合方法,融合不同分类响应图,抑制错分像素点;融合不同回归偏移,提高定位精度。2)提出基于判别性特征学习的孪生目标跟踪方法。目前主流的孪生跟踪器以改进的Res Net50为骨干网络提取目标和搜索区域特征,但改进的Res Net50存在网格伪影现象,降低所提取特征的判别性;主流的改进方式增加了参数量和计算量,以时间换取跟踪性能。针对这些问题,首先,从理论分析和实验验证两方面揭示改进的Res Net50提取的特征存在网格伪影现象,提出移除存在网格伪影的卷积层,提高小目标跟踪性能并加快推理速度。与此同时,提出特征叠加模块并将其应用于分类器。该模块在特征中引入噪声,使模型学习语义信息更丰富的特征,以区分目标和背景,保持推理速度的同时提高跟踪性能;提出辅助损失函数,重复学习具有高损失值的样本,减少收敛时间,挖掘难例样本,进一步提高跟踪性能。提出的特征叠加模块和辅助损失函数能泛化至移除存在网格伪影卷积层的Siam RPNpp,Siam RPNpp和Siam BAN等孪生跟踪器。3)将上述方法嵌入至基于孪生网络的目标跟踪框架,在主流数据集上进行评估。实验结果表明,基于正交区域生成网络的孪生目标跟踪方法在OTB2015、VOT2016、VOT2018、GOT-10k、La SOT、UAV123和Tracking Net数据集上优于主流跟踪器,尤其是在VOT2016上,平均重叠期望(Expected Average Overlap,EAO)达到0.498,超过基线模型3.7%,领先目前主流的跟踪器,表明该方法可以改善在复杂背景和相似物体干扰下跟踪性能下降的问题。基于判别性特征学习的孪生目标跟踪方法在OTB2015、VOT2019、La SOT、UAV123和Tracking Net数据集上进行评估,尤其是在UAV123上,成功率图的曲线下面积(Area Under the Curve,AUC)值达到0.651,超过基线模型2.4%,领先目前主流的跟踪器,表明该方法可以增加语义信息,提高特征的判别性,提升分类能力。这些实验结果表明本文提出方法的有效性。
其他文献
游戏经过四十多年的发展,已经逐渐成为科技和娱乐领域文化艺术的重要表现形式之一。针对互联网“泛娱乐”时代下青年群体信仰的缺失,以红色经典为题材的游戏产品成为思想政治教育在娱乐产业的新方向。但是,该题材游戏产品的匮乏与国内对游戏场景设计研究的经验不足在一定程度上限制了该题材游戏的普及。基于此,本文以红色经典题材“智取威虎山”为研究样本,设计并建立实践研究模型——《智取威虎山》游戏场景设计。为红色经典故
学位
为深入贯彻落实习近平总书记视察河南的重要讲话和重要指示,河南省人民政府,提出了关于做好2022年全面推进乡村振兴重点工作的实施意见,将产业、人才、生态、文化和组织建设五个方面划定五年我省乡村振兴的发展路线。河南省义马市被称为豫西的“百里煤城”。然而,因煤而兴的义马市现今成为一座典型的资源枯竭型城市,随着生态文明建设的发展,城市必然面临转型升级的首要问题。义马市积极响应省政府乡村振兴的号召,走具有“
学位
为了提升工程造价专业学生的实践能力,使之与实践性要求较高的企业需求相匹配,将辽宁工业大学工程造价专业作为研究对象,采用文献分析和企业调研相结合的方法,分析了工程造价专业实践教学中存在的问题,并针对性地提出重构以实践能力养成为主线的实践教学体系,围绕造价师认证体系建立课程体系,打造“双师型”教师队伍,开发实践性教材,构建多样化实践平台等对策,为工程造价专业学生实践能力提升和企业人才培养提供参考.
期刊
在信息化时代中,随着计算机技术的迅猛发展,软件的规模和复杂度呈指数式扩大,然而在享受软件所带来便利的同时也伴随着巨大的安全隐患。对于庞大且功能复杂的软件系统来说,出现缺陷的概率更大,需要消耗大量人力物力资源来进行测试,然而也无法达到百分百测试覆盖,隐藏的缺陷会导致各种致命的软件灾难。为了提高软件测试的效率,并且合理地分配测试资源,因此软件缺陷预测技术成为了软件测试领域中研究的热点。传统的基于机器学
学位
现有的计算机视觉算法很大程度上依赖高质量的图像,但是恶劣的天气情况严重影响这些户外视觉算法的性能,尤其是在暴雨的情况下,拍摄的图像都会有不同程度的失真,导致图像丢失大量的细节信息。在降雨的天气情况下获取高质量的图像,已成为计算机视觉研究的一个热点话题。图像去雨主要是指从有雨的图像中去除雨痕,从而恢复无雨的清晰图像。传统算法依赖先验信息,但是由于雨痕的大小,形状,密度分布不均,并不能对各种场景进行很
学位
论文将感性工学理论引入到智能小家电产品设计中,从叙事学视角探讨如何利用感性因子分析法进行产品设计,以更好满足用户的对智能小家电产品的情感及体验等深层心理诉求。论文首先,梳理了智能小家电发展脉络、用户心理流变、感性叙事理论的发展现状及趋势,阐明了感性工学与智能小家电产品叙事相结合的适配性;其次,归纳了感性叙事的含义、内容及发展趋势,进一步阐述了感性叙事的逻辑成因、组成要素及特征,以厘清感性工学与智能
学位
在社会新形势的推动下,我国旅游业迅速崛起,城市之间的竞争也愈发激烈。为了增加城市综合价值,各个地区都开始挖掘自身特色文化并发展文化创意产业,与旅游业相融合共同促进城市发展。但很多城市为了追求建设效率而忽略了城市个性,毫无主张地照搬模板,导致了城市雷同化尴尬局面的出现。浙江省衢州市作为一座有千年建城史的城市,境内自然资源丰富、文化历史悠久。进入新时代以来,衢州市政府也十分重视城市品牌的建设,明确了要
学位
萍乡市位于我国江西省境内,紧邻湖南省。在古时此地属于三苗九黎部落的生活范围深受巫神文化影响,在之后的时间里萍乡结合地域文化渐渐发展出了独具特色的“萍乡傩文化”。萍乡傩文化作为我国自农耕时代就已诞生的传统文化,具有非常高的文化价值以及艺术价值,是中国古代人民所创造的精神与文化财产,然而随着现代社会的高速发展,萍乡傩文化面临着传承与创新上的危机,宣传上的不足加上以萍乡傩文化为基础的文创衍生产品创新力不
学位
近年来,心脑血管疾病成为了危害人类生命的重要疾病之一,尤其是心源性疾病呈高发趋势,例如发生在任何地点、任何人群上的心脏骤停。及时有效的进行心肺复苏(cardiopulmonaryresuscitation,CPR)治疗成为了患者提高生还机会的唯一机会,而胸外按压是心肺复苏的关键,同时也是基础生命支持(Basic Life Support,BLS)的重要环节。根据国内外大量临床急救实例中发现,急救人
学位
随着移动互联网的快速发展,近年软件规模也呈爆炸式的增长,软件代码量越来越多,百万行的代码软件比比皆是。对于如此大体量的软件来说,如果每一个功能的测试用例都要重新编写,那无疑要使用大量的人力时间成本,这就限制了软件的测试迭代速度。因此,研究如何提高编写高质量测试用例速度对测试人员有着极其重要的意义。本文针对测试用例的特点,引入了知识图谱,利用知识图谱中丰富的语义信息提出了两种测试用例复用的方法。具体
学位