论文部分内容阅读
边缘检测是计算机视觉领域的一项经典研究课题,在目标检测与分割、三维重建、场景遮挡或深度推理等研究任务中具有重要的应用价值。最近,随着深度学习的发展,边缘检测算法性能得到提升。同时,对于特定类型边缘的需求越来越多,涉及物体轮廓、带类别标签的语义边缘(轮廓)。目前,边缘检测的准确度仍具有提升空间,同时因深度学习方法的出现,引入一些新的挑战。本文以图像语义边缘检测为目标,对图像物体轮廓检测、图像语义边缘检测展开递进式研究。通过对现有边缘检测算法的深入研究,发现目前图像物体轮廓检测算法和图像语义边缘检测算法存在不足:(1)传统图像物体轮廓检测算法主要以局部细节特征来检测物体轮廓,由于缺乏更多上下文线索导致无法区分物体外部轮廓与内部边缘,同时易受噪声、光照等条件影响。基于深度学习的轮廓检测方法能够更有效地学习到更多高层次特征,但对不同层次特征的融合还不充分,导致检测结果易受边界模糊区域的影响。(2)图像语义边缘检测需要物体级别的语义信息来指导算法区分不同类别物体的轮廓,传统方法受限于学到的特征层次不够高,检测效果不佳。基于深度学习的语义边缘检测方法融合多层次特征并不充分,导致部分轮廓分类错误、连续性差以及存在冗余边缘。针对上述第一类问题,本文提出多尺度空间上下文约束的图像物体轮廓检测网络(Multi-scale Spatial Context based Object Contour Detection,MSC-OCD),该算法的主要贡献是:提出一种自顶向下的多尺度、多层次特征融合结构,让高层次特征中语义信息逐渐融合到低层次特征中,来指导网络更好地检测出物体边界处边缘;提出语义增强模块(Context Enhancement Module,CEM),通过获取更多空间上下文线索,进一步增强不同层次特征的语义表达能力;改进二分类交叉熵损失函数,得到更细、更光滑的边缘。针对上述第二类问题,本文提出多尺度空间上下文约束的图像语义边缘检测网络(Multi-scale Spatial Context based Semantic Edge Detection,MSC-SED),该算法的主要贡献是:提出一种自底向上的的多尺度、多层次特征融合结构,不仅使得高层次特征中的语义信息得到保留,而且高层次特征中的细节信息也得到丰富,有利于轮廓的定位和分类;提出语义感知模块(Context Aggregation Module,CAM),通过聚合更多上下文线索来提升特征的语义表达能力;提出权重自适应学习模块(Location-Aware fusion Module,LAM),该模块能够筛选掉低层次特征中的无用信息,使得不同层次特征的融合更加充分;改进多分类交叉熵损失函数,提升语义边缘检测效果、减少冗余边缘。最后,本文通过实验验证了算法MSC-OCD和MSC-SED的性能。实验证明:(1)MSC-OCD算法性能明显优于同领域其他主流算法,能够有效地区分物体外部轮廓和内部边缘,在物体边界模糊区域的准确度更高,并且边缘更细、更干净,有利于运用到实际应用中。(2)MSC-SED算法性能明显优于同领域其他主流算法,检测得到的轮廓分类更加准确,连续性更好,物体内部冗余边缘更少。