论文部分内容阅读
随着智慧城市的快速发展以及智能摄像头的日益普及,行人再识别已成为视频智能监控中的关键技术,并在视频侦查、行人跟踪以及行为分析等视觉分析领域发挥着举足轻重的作用。行人再识别的主要目的是在不同时间点,跨越不同的摄像头(无视域重叠)检索到目标行人。然而,由于跨摄像头视角变化导致了行人外观图像的低分辨率、多样性、姿势差异以及遮挡等问题,这些因素使得行人再识别模型难以提取鲁棒的特征以及完成有效的特征匹配。本文致力于研究如何提取更有区分度的行人特征与如何实现灵活且具有鲁棒性的特征匹配,在深度学习的基础上,从特征提取与特征匹配角度出发构建了四种新颖的行人再识别模型。在特征提取方面,本文以数据驱动的形式优化了分块卷积的方法,同时借助行人属性的高阶语义信息实现了对行人局部特征的深度挖掘;在特征匹配方面,本文在改进的特征挖掘方法基础上,引入了灵活的语义匹配机制,解决行人再识别中对不齐(Misalignment)和遮挡(Occlusion)的难题,主要工作与创新点如下:针对现有基于分块卷积的行人再识别方法缺乏分块灵活性与自适应性的问题,提出了基于强化学习自适应分块的行人再识别方法。现有的基于分块卷积的行人再识别模型,要么采用固定的分块策略(块数、块的大小),要么借助其他预处理模型(比如行人姿态预测、行人分割等)来指导分块。前者受制于过强的人类先验知识,固定的分块策略在应对真实世界场景时缺乏灵活性;而后者则过于依赖外部模型的精度,同时具有引入外部数据带来噪声的潜在风险,在分块时缺乏稳定性。对此,提出了自适应分块模型,通过强化学习得到一个可以根据不同行人图像自适应分块的智能体(Agent)网络,该Agent在预留集(Held-out set)上进行训练,通过策略梯度(Policy Gradient)算法以监督学习的形式进行优化。此外,该Agent与整个网络进行联合训练,保证了模型的鲁棒性和泛化能力。针对现有基于行人属性的行人再识别方法缺少清晰简洁的属性表达以及属性关系建模的不足的问题,提出了基于行人属性挖掘与推理的行人再识别方法。首先,现有的基于属性的方法把全局特征来作为属性的特征表达,然后进行分类学习。然而,大部分的行人属性都是一些局部视觉信息的语义描述,笼统地采用全局特征来表征属性特征势必引入空间定位上的噪声以及模式上的冗余。同时,属性之间存在潜在的语义关联,引入属性关系建模可以生成更多有用的辅助信息,用以强化各个属性的特征表达。对此,提出的方法从两方面来更好地利用行人属性:第一,提出属性定位集成模块,该模块由多头定位器和投票机制构成。定位器从空间通道对特征进行过滤,多头模型之间进行知识蒸馏来强化特征;第二,提出属性推理模块,把各个属性特征和全局特征相关联,利用图卷积神经网络进行推理学习,发掘出它们之间潜在的关系,以生成更全面的行人特征表达。针对行人再识别中的对不齐(Misalignment)问题,提出一种基于行人属性的粗到细(Coarse-to-Fine)行人对齐方法。现有的行人对齐方法主要采用行人姿态关键点进行对齐,然而这种方法过于依赖对关键点检测的准确率。行人属性是对具有区分度的身体部位的具体描述,属性特征也包含了丰富的空间定位信息,因此适用于行人对不齐问题。同时,在利用行人属性进行对齐的时候,不同的属性表现出不同的重要性。对此,结合分块方法与基于行人属性的方法,利用分块方法对行人图片进行“粗对齐”,再在分块特征内融入属性特征,实现“细对齐”。此外,本文通过强化学习训练得到一个属性选择智能体(Agent),根据不同行人图片特点选择合适的属性,进一步精炼属性特征,进而强化对齐后的行人特征。针对遮挡行人再识别中过于依赖检测模型精度和缺少灵活匹配机制的问题,提出基于属性解耦与配准的遮挡行人再识别方法。现有遮挡行人再识别方法倾向于用部件检测器来对行人身体部件中未遮挡部分进行对齐,然而这类方法受限于部件检测模型的准确率。同时,部件检测方法在匹配时缺少灵活性,机械地进行部件匹配将会大大降低行人重识别的稳定性。对此,本文利用属性高阶语义对局部特征进行解耦,实现对人体未遮挡部位的定位。同时,提出属性配准机制,以弱监督的形式让属性解耦区域自适应地定位并对齐遮挡图像上的未遮挡区域,这种方式避免了一对一的“硬对齐”,具有鲁棒性的同时兼具了灵活性。最终,所提出的四种方法分别在全身(Holistic)、非全身(Partial)、遮挡(Occluded)三种类型的7个行人再识别标准数据集(Market-1501、Duke MTMC-Re ID、CUHK03、Partial-REID、Partial-i LIDS、Occluded-REID、Occluded-Duke)上进行了性能评估。其中,在全身数据集Market-1501上达到Rank-1=95.8%,m AP=89.2%;在非全身数据集Partial-Re ID上达到Rank-1=87.6%,Rank-3=94.7%;在遮挡数据集Occluded-Re ID上达到Rank-1=83.7%,m AP=72.5%的先进性能。定性与定量的实验结果验证了所提出方法的先进性能以及模型良好的泛化能力。