多目标检测与分类需要从图像的复杂背景下检测和分类出各类目标,它与目标检测和图像分割都有着密切的联系。目前,通过卷积神经网络(Convolutional Neural Networks,CNN)进行目标检测有了新的突破和研究方向,出现了一系列基于CNN的多目标检测与分类方法。其中,较为准确和快速的一类目标分类检测方法是在卷积神经网络的基础上增加区域候选网络(Region Proposal Networks,RPN)。这类方法使用区域卷积神经网络、空间金字塔池化(Spatial Pyramid Pooling,SPP)以及快速的区域卷积网络等技术,在检测上的多项指标上取得了显著的进步,使得检测速度基本达到了实时的要求,同时精度也得到大幅的提升。但这类多目标的检测和分类方法都是基于分类后的矩形框对所检测的目标进行标注的,这种做法虽然在速度和精度上有所提升。但不能精确地标定各个目标位置和形状轮廓;为了增加检测精度,基于矩形框的方法需要设有边界框回归学习的过程,这增加了整个卷积网络的时间成本;另外,这类方法对于各类小目标的检测效果并不理想。在图像的分割上目前主要是通过卷积网络提取图像特征,再通过对卷积神经网络全连接层的调整来完成图像分割,最终用不同像素表示出不同的目标。但是,这类方法受到卷积神经网络结构的影响(即卷积过程中会有分辨率的下降,以及感受野和目标细节的损失等等),所以分割精度并不高。针对上述问题,本文提出了一种通过图像语义分割提取出目标轮廓进而实现目标检测分类的方法。首先,该方法通过一个分支网络将特征与原图形成映射关系来获取目标候选区域;然后,从所得候选区集合中筛选出符合条件的目标区域,通过上采样和反卷积得到其语义分割图;接着,使用全连接条件随机场(Conditional Random Fields,CRFs)对各个分割图像进行优化,并对属于同一类别的目标进行处理得到各类目标的语义分割图;再由语义分割图快速获取目标的轮廓和类别;最后,使用轮廓对目标进行标注。实验证明,新方法不仅能够快速和准确地检测出目标的位置和轮廓信息并加以标注,而且能有效地提升对小目标的检测效果,同时具有更好的图像分割精度。