基于全局匹配与掩码传播的视频目标分割算法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:WIN_Hardy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频目标分割是计算机视觉中一个重要的研究方向,其任务是在视频序列中,逐像素地分割出每帧中感兴趣的目标区域。视频目标分割可以应用于视频编辑、视频压缩等实际场景中,也可以为动作识别、视觉跟踪等任务提供预处理,具有较高的研究价值与广泛的应用场景。然而,在视频目标分割中,待分割视频可能存在多种复杂情况如目标遮挡、背景干扰等,目标分割难度高,并且算法的精度与速度难以同时兼顾。针对如何解决多种分割难点,同时兼顾算法精度与速度的问题,本文从融合全局匹配与掩码传播、设计背景去噪的匹配方法这两个关键点出发,提出新的基于全局匹配与掩码传播的视频目标分割方法。本文主要工作内容如下:为了减少视频目标分割中目标遮挡与背景干扰的影响,本文提出了一个全局嵌入距离引导与掩码传播的视频目标分割模型。该模型中,嵌入距离模块在特征空间中计算当前帧与第一帧前背景中心向量的距离差,为后续特征融合模块提供空间引导,有助于减少目标遮挡的影响。同时,前一帧的预测掩码也在特征融合模块中提供空间先验,以对抗背景干扰问题。此外,特征融合模块中利用空间注意力块帮助网络关注目标区域的分割。在DAVIS和DAVIS2017数据集上的定性、定量的实验结果表明,该模型能够在精度、速度上达到较好的均衡,并有助于减少目标遮挡与背景干扰的影响。针对全局匹配中由于复杂背景导致匹配不准确的问题,本文提出了一种三元组匹配的视频目标分割算法。其中,三元组匹配模块同时考虑前背景匹配,并且拉远不同类间的嵌入向量,隐式地优化嵌入特征空间,减小匹配输出的背景噪声。由于视频前背景分布差异问题,本方法中采用双解码器结构分离前背景解码器网络,并实现网络模型的端到端训练与预测。在DAVIS与DAVIS2017数据集上的实验结果表明,三元组匹配的输出受复杂背景的干扰较少,并且该方法能够在精度与速度上均有较为优秀的表现。
其他文献
肌肉保水性反映的是肌肉组织保持水分的能力,它直接或间接影响肉的嫩度、色泽、多汁性等感官特性,可作为评定禽肉肉质高低的重要指标,此外,它对肉制品加工过程中的产量、结构和色泽也有较大的影响,直接决定肉品质量和肉品制造加工者的经济效益。鸡胸肉作为消费量第一的家禽肉制品,因蛋白质含量较高、脂肪含量较低的优良特性被认为在健康方面优于红肉,受到越来越多消费者的喜爱与认可。然而,常常由于加工过程的过度烹饪,在保
电主轴是数控机床的关键部件,当电主轴出现故障时,将影响机床整体运行的安全性和可靠性。因此,开展对电主轴故障诊断的研究具有重要意义。本文对电主轴进行了分析研究,对采集到的数控滚齿机电主轴振动信号,分别采用传统的故障诊断方法和基于深度学习的故障诊断方法进行研究。主要研究内容如下:(1)搭建电主轴故障诊断实验平台,在此基础上进行电主轴故障诊断实验,获得三种类型的电主轴振动信号,并对振动信号作了初步的分析
无人船是未来我国捍卫领海主权,保卫海洋安全的重要工具,同时在水域监测、商用养殖、科学考察、水上设备监测等领域也起着越来越重要的作用。视觉感知具有快捷、直观、信息量丰富等优点,已逐渐成为无人船一种不可取代的感知手段。其不管是在无人船的避碰、海上结构物的运维,还是目标物的巡检等方面都发挥着不可替代的作用。目前,无人船的视觉感知技术研究主要集中在水上障碍物识别上,而对于水下障碍物,特别是同时具有水上和水
随着我国经济社会的快速发展,电力行业的规模也不断在扩大,电力企业传统的管理模式造成大量浪费,增大了投入成本,为了控制成本,为了能在如今激烈的市场竞争中保持活力,需要引入新的管理理念与模式。全生命周期管理理念起源于管理专业中全生命周期成本管理,后者通过建立全生命周期成本估算模型,综合设备全生命周期各个阶段包括购置、运维、报废等等产生的成本,从全局角度出发从长远经济效益考虑使得该成本模型最低从而降本增
神经影像技术能够以非侵入的方式对大脑结构和功能进行成像,通过分析该类影像数据可获得大脑结构形态与功能连接等信息。如今神经影像技术正不断发展,帮助神经信息学研究者通过多种角度分析并探寻更深层次的神经精神疾病病理机制,实现神经精神疾病的辅助诊断。尽管如此,神经影像数据模式分析研究的成果产出和转化仍然受制于一系列亟待解决的矛盾:(1)有限的数据和计算资源与数据驱动机器学习的支撑需求;(2)有限的时间精力
近年来,由于数据量的增长、运算能力的提升和训练算法的创新,深度神经网络已经成功地应用于许多实际场景中。然而,这样的成功在很大程度上依赖于大量昂贵的有标签数据。为此,研究人员提出了同时利用少量的有标签数据和大量的无标签数据来促进深度神经网络学习的半监督学习方法,并且在众多任务中都取得了出色的效果。针对有标签数据数量有限的问题,本文提出了两种半监督学习方法来缓解深度神经网络对有标签数据集的依赖。针对现
冷凝器是在能源、化工、电力、制冷等领域中广泛使用的换热部件。通常根据制冷剂的相态将冷凝器内的传热过程分为过热区、两相区和过冷区,即传统的三区模型。三区冷凝模型在单相区与两相区之间出现换热系数突变,与实际不符,机理上无法解释。过热冷凝是冷凝的开始阶段,研究过热冷凝区的换热机理,正确认识其规律。本文通过实验及数值模拟对过热冷凝区域的传热性能和流动特性进行研究。设计并搭建过热冷凝实验台,分别在内径5mm
淀粉、纤维素作为自然界存储量最多的两种天然高分子材料,其葡萄糖单元上的多羟基所赋予的强极性和亲水性等特征却严重限制其在复合材料领域的应用。为提高淀粉、纤维素的界面反应能力,本论文以H2O2与低浓度Cu2+催化剂可控氧化反应,对其进行羧基化改性。在此基础上,将所制备的羧基淀粉(OST)和羧基纳米纤维素(OCNC)分别用于增强羧基丁腈橡胶(XNBR)和热塑性淀粉(TPS),利用界面反应显著提高XNBR
预压装配式框架结构是一种节点整体性较好、自复位能力强的装配式结构体系,对我国装配式结构的发展具有重要的意义。目前国内外针对预压装配式框架结构的研究虽已取得一些成果,但对此类结构的抗震性能评估和抗震设计方法尚未完善。我国抗震规范采用小震弹性设计方法,其隐含的对所有结构取统一的反应修正系数2.86而忽略结构延性和耗能能力的差异的设定,不能发挥预压装配式框架结构的性能优势。为研究此类结构的抗震性能和抗震
由于城市居民交通出行需求的不断增长,道路交通的方向性协调控制需求日益明显。为了实现城市交通信号控制的精细化,协调对象的选取不应停留在子区层面,而需要进一步细化到有向路径连线上。对此,本文以车辆轨迹数据作为数据支撑,以协调路径集作为研究对象,从协调对象的选取、协调模型的建立以及控制方案的评价等方面展开相关科学研究,着重区域协调路径集的构成与优选方法、面向区域协调路径集的信号控制模型、协调路径集控制效