论文部分内容阅读
将3D场景投影到图像平面时往往会发生物体间的遮挡,这种遮挡广泛存在于2D图像中。遮挡使得图像中物体间的关系变得复杂,并且被遮挡物体的信息会缺失,从而影响计算机对2D图像中物体的识别和信息的获取与理解。遮挡关系推理利用算法来获得单目图像中物体间的遮挡情况,提供有价值的物体级别的深度信息,这是计算机视觉领域的基础问题。遮挡关系推理技术可以作为其它计算机视觉任务的关键步骤,在场景理解、3D重建、机器人避障等领域都有重要的作用。当前,随着基于卷积神经网络的深度学习的发展,借助卷积神经网络的强大的特征获取和处理能力,遮挡关系推理的效果获得了显著提升。基于神经网络的遮挡关系推理被分为两个子任务:遮挡边界检测、前后景关系推理。当前流行的基于卷积神经网络的遮挡关系推理已经开始在同一个网络中同时对两个任务进行学习与预测,但依然存在共享网络信息和特征利用效率低下,共享遮挡表示提取较差的问题。他们忽略两个或更多的子任务联合学习对遮挡关系的效果的影响,也忽视了前后景关系推理的表示和预测方法的重要性。并且在基于卷积神经网络的遮挡关系推理的应用中,由于其需要计算能力较强的专业显卡支持,难以在终端部署和使用限制了遮挡关系推理的落地和应用。为解决这些问题,本文重点研究了相关工作,其中主要的创新性研究成果有:(1)在遮挡边界检测方面,设计了能够兼顾遮挡和多尺度的U型网络结构和梯形网络结构,并提出了边界附近注意力损失函数来应对边界像素极端类不平衡问题。(2)在前后景关系推理方面,提出了适合卷积神经网络的前后景关系正交表示法、正交遮挡损失函数、正交遮挡模块,使得网络获得了更好的遮挡信息。(3)在多任务联合进行遮挡关系推理方面,设计了合理的半共享多任务联合网络结构和提出基于动态采样的多任务联合训练方法,提高了推理的性能和效率。本文提出的算法方案在多个指标和可视化结果中都有明显提升,在PIOD数据集和BSDS ownship数据集上的主要指标固定阈值下的F1分数(ODS)相对于目前最好的方法OFNet分别提升约3.9%和1.6%,其余指标也都有不同程度的提升。最后,基于卷积神经网络的遮挡关系推理相关的研究成果,本文设计实现了云端遮挡关系推理系统,以减轻终端对硬件性能的依赖从而有效利用计算资源并可以方便部署。