【摘 要】
:
视频目标分割是一种对视频中的前景目标和背景区域进行分离,实现像素级分类的任务,在视频编码、姿态分析、自动驾驶以及短视频娱乐等方面具有广泛的应用。根据在测试阶段视频所给标注形式的不同,该任务可以分为无监督、半监督、弱监督和交互式四大类别。随着深度学习技术地不断发展,视频目标分割取得了很大的进步,但现有的许多算法都是以牺牲分割速度为代价来提升分割精度,并且在复杂场景下分割的效果往往比较差。本文对弱监督
论文部分内容阅读
视频目标分割是一种对视频中的前景目标和背景区域进行分离,实现像素级分类的任务,在视频编码、姿态分析、自动驾驶以及短视频娱乐等方面具有广泛的应用。根据在测试阶段视频所给标注形式的不同,该任务可以分为无监督、半监督、弱监督和交互式四大类别。随着深度学习技术地不断发展,视频目标分割取得了很大的进步,但现有的许多算法都是以牺牲分割速度为代价来提升分割精度,并且在复杂场景下分割的效果往往比较差。本文对弱监督和半监督视频目标分割算法进行研究,提出基于相关信号引导学习层级特征融合的视频目标分割算法,利用网络中生成的反映目标轮廓,纹理信息的相关信号协助分割,在推理速度基本保持不变的情况下,有效提升分割性能,研究成果如下:本文提出了一种基于相关特征引导和动态搜索更新的弱监督视频目标分割算法,针对弱监督视频目标分割算法在分割过程中对相关特征利用不足,分割结果严重依赖于跟踪结果的问题,设计了特征融合分割模块和动态搜索更新机制。首先,特征融合分割模块将跟踪网络的相关特征与骨干网络的各层特征通过编码器网络进行融合并输出,再通过解码器网络,利用相关特征对融合特征进行强化,输出分割结果。然后,通过动态搜索更新机制,利用均衡状态评估得分,综合跟踪边界框和分割轮廓框,作出搜索图片的最佳裁剪选择,缓解了分割结果对跟踪结果的依赖性。最后,本文在DAVIS2016,DAVIS2017以及You Tube-VOS上进行了充分测评。在多目标数据集DAVIS 2017验证集上对比基线方法在推理速度基本不变的基础上实现了1.2个百分点的精度提升,充分证明了所提弱监督视频目标分割算法的优秀性能。鉴于第一个工作对目标细节部分的处理不够精确的问题,本文将相关信号引导的思想引入半监督领域,同时对上一工作中的网络进行改进,提出了深浅层表示融合的半监督视频目标分割算法,设计了高效高阶注意力模型和融合分割模块。首先,高效高阶注意力模型有效的整合了空间和通道注意力模型,能够更好的提取图像的深层语义信息。然后,融合分割模块利用像素级相关信号将深层语义特征和浅层位置特征进行融合,使网络学习到更鲁棒的特征,有效区分复杂背景中的相似物体,提升对目标细节方面的处理效果,提高分割精度。最后,本文在主流视频目标分割数据集DAVIS 2016、DAVIS 2017以及You Tube-VOS上进行了充分测评。结果显示,在多目标数据集DAVIS 2017验证集上,所提算法对比基线方法提升了1.1个百分点,在速度与精度方面均取得了优秀的表现,充分证明了本算法的优越性。
其他文献
近年来,机械臂在现代工业制造体系中扮演了不可或缺的角色,随着生产工艺的提升,对机械臂的轨迹跟踪控制要求也越来越高,由于目前大多数控制研究只能使系统渐近收敛,研究高精度、快速收敛的跟踪控制算法有着重要的意义。本课题基于非奇异终端滑模(Nonsingular Terminal Sliding Mode,NTSM)有限时间收敛特性,将NTSM分别与神经网络、自适应控制、扰动观测器结合设计轨迹跟踪控制器,
联邦学习(Federated Learning)作为一种新兴的分布式机器学习范式,可以联合不同的组织或用户共同训练机器学习模型。具体来说,在保证整个训练过程数据一直保留在本地不被泄露的前提下,通过中央服务器协调大量客户端(例如手机、电脑和运动手环等)共同训练得到一个最优全局模型,在保护数据隐私的同时打破了数据之间的壁垒,以此来解决数据孤岛问题。不同于传统的分布式机器学习方法,联邦学习面临诸多严峻的
近年来,以大数据为背景的深度学习方法在机械故障诊断领域取得了令人瞩目的成就,为设备的智能故障诊断研究提供了重要途径。然而这些研究都是在训练数据充足的基础上实现的,模型的诊断效果受数据量的影响较大。在实际工作环境中,由于各种条件限制,为每种轴承状态收集和标记的故障数据可能会出现信息不充分的情况。具体来说,当故障样本远少于正常样本,会产生数据分布不均衡现象;而当各类轴承数据的绝对数量都很少时,表现为小
随着老龄化问题的日益严重,针对老人的看护问题已成为当下社会的研究热点之一。摔倒作为对老年群体健康威胁最大的因素之一,不仅会严重影响老年人的身心健康,还会给公共卫生事业带来巨大压力。依靠人力对老人进行看护效果虽好,但低效且占用大量医护资源。现有的基于视觉的摔倒检测系统普遍采用固定摄像头,此类系统无法在其视觉盲区对目标进行有效监测。针对以上问题,本文对行人跟踪算法与行人失稳姿态检测算法展开研究。首先,
大数据时代,图像、视频等视觉数据呈现指数级增长,传统的计算机视觉理论与方法面临着前所未有、日益严峻的挑战。而显著性检测作为智能视频处理中一项关键支撑技术,可有效定位图像、视频序列中感兴趣的目标区域,以便于从大量冗余信息中提取对当前任务有益的信息,为智能图像、视频处理中目标识别、场景理解、行为分析等高层任务提供可靠数据,具有重要的军事、商业和社会价值,已被广泛应用于智能安防、航空航天、人机交互、工农
随着自动控制理论的发展,固定翼无人机的应用也愈发广泛。速度和姿态控制策略是固定翼控制研究的基本问题。固定翼无人机是典型的具有非完整线性约束运动体,其具有强耦合、非线性等特征。此外,风速等外界扰动对固定翼无人机飞行影响也较大,对于不同形态的固定翼无人机,其飞行姿态与速度控制效果也不尽相同。因此,相较于其他构型的无人机,固定翼无人机的控制器设计要求更为复杂,控制难度也更大。奇异摄动法本质上是一种时标分
随着温室大棚数量的增长以及农村劳动力数量的下降,可以在恶劣环境中自主作业的温室植保机器人成为当前研究热点。因为在温室内无法使用GNSS进行定位导航,所以实现温室内植保机器人的建图导航具有重要意义。本文以实现温室内植保机器人的自主运行为目标,设计基于视觉、激光融合的建图导航系统,主要工作内容如下:首先根据温室机器人的工作场景,分析机器人建图导航系统的需求,设计多传感器融合的建图导航系统方案。建立机器
烷类气体同属于碳氢类气体,具有许多相似的物理和化学性质,并且烷类通常混合在一起,现有的检测技术在遇到混合烷类时难以辨别其主要成分。甲烷作为最常见的烷类气体,广泛存在于日常生活和工业生产之中,并且属于危险性气体,对甲烷的辨别十分必要且重要。甲烷辨别对于保障人们的生产生活安全、保护环境等都有重要的意义。为实现甲烷气体的辨别功能,本论文首先通过对比分析,选择当下前沿的NDIR检测技术,设计采用四光源单传
随着社会的不断发展,我国的公路里程井喷式增加,汽车保有量也急剧增加,因台风、暴雨、冰雹、寒潮、雾霾等恶劣天气引发的交通事故频发,给国民经济造成了不可估量的损失。目前,交通安全已经成为社会发展的热点问题。为了做到对交通运输环境实时监测和突发事件及时预警,建立基于物联网和大数据的道路交通气象灾害监测预警系统迫在眉睫。针对上述情况,通过对现有的国内外技术进行研究分析,本文设计了一种便携式道路交通气象信息
随着城市化的快速发展,消防安全隐患与日俱增,消防安全管理和灭火救援面临新课题。由于城市建筑建设周期较长,大部分消防管道埋地敷设,导致阀门、管道腐蚀严重,漏水点较多。部分单位消防供水达不到设计要求,严重时会导致无水可用,一旦发生火灾会造成严重后果。因此消防供水监测系统就显得尤为重要。针对上述问题,本文结合物联网及其关联技术,设计了一种消防供水智慧监测系统。系统包括智能终端、管理平台、云服务器和手机客