基于多任务联合网络的图像遮挡关系推理算法的研究及应用

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:zhongming328
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
将3D场景投影到图像平面时往往会发生物体间的遮挡,这种遮挡广泛存在于2D图像中。遮挡使得图像中物体间的关系变得复杂,并且被遮挡物体的信息会缺失,从而影响计算机对2D图像中物体的识别和信息的获取与理解。遮挡关系推理利用算法来获得单目图像中物体间的遮挡情况,提供有价值的物体级别的深度信息,这是计算机视觉领域的基础问题。遮挡关系推理技术可以作为其它计算机视觉任务的关键步骤,在场景理解、3D重建、机器人避障等领域都有重要的作用。当前,随着基于卷积神经网络的深度学习的发展,借助卷积神经网络的强大的特征获取和处理能力,遮挡关系推理的效果获得了显著提升。基于神经网络的遮挡关系推理被分为两个子任务:遮挡边界检测、前后景关系推理。当前流行的基于卷积神经网络的遮挡关系推理已经开始在同一个网络中同时对两个任务进行学习与预测,但依然存在共享网络信息和特征利用效率低下,共享遮挡表示提取较差的问题。他们忽略两个或更多的子任务联合学习对遮挡关系的效果的影响,也忽视了前后景关系推理的表示和预测方法的重要性。并且在基于卷积神经网络的遮挡关系推理的应用中,由于其需要计算能力较强的专业显卡支持,难以在终端部署和使用限制了遮挡关系推理的落地和应用。为解决这些问题,本文重点研究了相关工作,其中主要的创新性研究成果有:(1)在遮挡边界检测方面,设计了能够兼顾遮挡和多尺度的U型网络结构和梯形网络结构,并提出了边界附近注意力损失函数来应对边界像素极端类不平衡问题。(2)在前后景关系推理方面,提出了适合卷积神经网络的前后景关系正交表示法、正交遮挡损失函数、正交遮挡模块,使得网络获得了更好的遮挡信息。(3)在多任务联合进行遮挡关系推理方面,设计了合理的半共享多任务联合网络结构和提出基于动态采样的多任务联合训练方法,提高了推理的性能和效率。本文提出的算法方案在多个指标和可视化结果中都有明显提升,在PIOD数据集和BSDS ownship数据集上的主要指标固定阈值下的F1分数(ODS)相对于目前最好的方法OFNet分别提升约3.9%和1.6%,其余指标也都有不同程度的提升。最后,基于卷积神经网络的遮挡关系推理相关的研究成果,本文设计实现了云端遮挡关系推理系统,以减轻终端对硬件性能的依赖从而有效利用计算资源并可以方便部署。
其他文献
目的:探究内镜下钛夹联合注射肾上腺素治疗消化性溃疡出血的临床效果.方法:选取2017年6月-2020年6月本院治疗的76例消化性溃疡出血患者,随机分为对照组和研究组,各38例.两组均进行综合治疗后,两组分别进行相应的内镜手术治疗,对照组进行肾上腺素治疗,研究组进行内镜下钛夹联合肾上腺素治疗.比较两组止血效果、胃引流出血消失时间、呕血消失时间、便隐血转阴性时间、再次出血率及不良反应.结果:研究组总有效率为94.74%,明显高于对照组的总有效率76.32%(P<0.05);且研究组胃引流出血消失时间为(24.
随着移动机器人技术的不断发展,扫地机器人逐渐走进了人们的生活,它们能够有效帮助人们解放双手,从日常繁琐的扫地任务中抽离出来。目前市面上的大多数扫地机器人都搭配了 SLAM(Simultaneous Localization And Mapping)与导航系统,用于完成智能清扫任务,然而除了少数的一线品牌,都存在建图抗噪能力差,导航模式不够智能的情况,这是因为目前对扫地机器人的公开研究,大多还停留在
在全球范围内,非酒精性脂肪性肝病(non-alcoholic fatty liver disease,NAFLD)的发病率与肥胖的发病率同步增长,且发病年龄通常较小.NAFLD是全世界新兴的公共卫生问题,NALFD的诊断、预防和治疗是必须的,未来也必须如此.非药物治疗包括饮食、运动及减肥等治疗是目前公认的治疗NAFLD最为主要的一步,也是管理NAFLD患者的基石.本文以近五年来国内外文献研究报道为依据,综述了不同饮食方案,不同运动方式、强度及持续时间,减肥手术治疗等在NAFLD发生和发展中的作用,为NAF