基于特征挖掘与语义匹配的行人再识别方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:sorry314
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智慧城市的快速发展以及智能摄像头的日益普及,行人再识别已成为视频智能监控中的关键技术,并在视频侦查、行人跟踪以及行为分析等视觉分析领域发挥着举足轻重的作用。行人再识别的主要目的是在不同时间点,跨越不同的摄像头(无视域重叠)检索到目标行人。然而,由于跨摄像头视角变化导致了行人外观图像的低分辨率、多样性、姿势差异以及遮挡等问题,这些因素使得行人再识别模型难以提取鲁棒的特征以及完成有效的特征匹配。本文致力于研究如何提取更有区分度的行人特征与如何实现灵活且具有鲁棒性的特征匹配,在深度学习的基础上,从特征提取与特征匹配角度出发构建了四种新颖的行人再识别模型。在特征提取方面,本文以数据驱动的形式优化了分块卷积的方法,同时借助行人属性的高阶语义信息实现了对行人局部特征的深度挖掘;在特征匹配方面,本文在改进的特征挖掘方法基础上,引入了灵活的语义匹配机制,解决行人再识别中对不齐(Misalignment)和遮挡(Occlusion)的难题,主要工作与创新点如下:针对现有基于分块卷积的行人再识别方法缺乏分块灵活性与自适应性的问题,提出了基于强化学习自适应分块的行人再识别方法。现有的基于分块卷积的行人再识别模型,要么采用固定的分块策略(块数、块的大小),要么借助其他预处理模型(比如行人姿态预测、行人分割等)来指导分块。前者受制于过强的人类先验知识,固定的分块策略在应对真实世界场景时缺乏灵活性;而后者则过于依赖外部模型的精度,同时具有引入外部数据带来噪声的潜在风险,在分块时缺乏稳定性。对此,提出了自适应分块模型,通过强化学习得到一个可以根据不同行人图像自适应分块的智能体(Agent)网络,该Agent在预留集(Held-out set)上进行训练,通过策略梯度(Policy Gradient)算法以监督学习的形式进行优化。此外,该Agent与整个网络进行联合训练,保证了模型的鲁棒性和泛化能力。针对现有基于行人属性的行人再识别方法缺少清晰简洁的属性表达以及属性关系建模的不足的问题,提出了基于行人属性挖掘与推理的行人再识别方法。首先,现有的基于属性的方法把全局特征来作为属性的特征表达,然后进行分类学习。然而,大部分的行人属性都是一些局部视觉信息的语义描述,笼统地采用全局特征来表征属性特征势必引入空间定位上的噪声以及模式上的冗余。同时,属性之间存在潜在的语义关联,引入属性关系建模可以生成更多有用的辅助信息,用以强化各个属性的特征表达。对此,提出的方法从两方面来更好地利用行人属性:第一,提出属性定位集成模块,该模块由多头定位器和投票机制构成。定位器从空间通道对特征进行过滤,多头模型之间进行知识蒸馏来强化特征;第二,提出属性推理模块,把各个属性特征和全局特征相关联,利用图卷积神经网络进行推理学习,发掘出它们之间潜在的关系,以生成更全面的行人特征表达。针对行人再识别中的对不齐(Misalignment)问题,提出一种基于行人属性的粗到细(Coarse-to-Fine)行人对齐方法。现有的行人对齐方法主要采用行人姿态关键点进行对齐,然而这种方法过于依赖对关键点检测的准确率。行人属性是对具有区分度的身体部位的具体描述,属性特征也包含了丰富的空间定位信息,因此适用于行人对不齐问题。同时,在利用行人属性进行对齐的时候,不同的属性表现出不同的重要性。对此,结合分块方法与基于行人属性的方法,利用分块方法对行人图片进行“粗对齐”,再在分块特征内融入属性特征,实现“细对齐”。此外,本文通过强化学习训练得到一个属性选择智能体(Agent),根据不同行人图片特点选择合适的属性,进一步精炼属性特征,进而强化对齐后的行人特征。针对遮挡行人再识别中过于依赖检测模型精度和缺少灵活匹配机制的问题,提出基于属性解耦与配准的遮挡行人再识别方法。现有遮挡行人再识别方法倾向于用部件检测器来对行人身体部件中未遮挡部分进行对齐,然而这类方法受限于部件检测模型的准确率。同时,部件检测方法在匹配时缺少灵活性,机械地进行部件匹配将会大大降低行人重识别的稳定性。对此,本文利用属性高阶语义对局部特征进行解耦,实现对人体未遮挡部位的定位。同时,提出属性配准机制,以弱监督的形式让属性解耦区域自适应地定位并对齐遮挡图像上的未遮挡区域,这种方式避免了一对一的“硬对齐”,具有鲁棒性的同时兼具了灵活性。最终,所提出的四种方法分别在全身(Holistic)、非全身(Partial)、遮挡(Occluded)三种类型的7个行人再识别标准数据集(Market-1501、Duke MTMC-Re ID、CUHK03、Partial-REID、Partial-i LIDS、Occluded-REID、Occluded-Duke)上进行了性能评估。其中,在全身数据集Market-1501上达到Rank-1=95.8%,m AP=89.2%;在非全身数据集Partial-Re ID上达到Rank-1=87.6%,Rank-3=94.7%;在遮挡数据集Occluded-Re ID上达到Rank-1=83.7%,m AP=72.5%的先进性能。定性与定量的实验结果验证了所提出方法的先进性能以及模型良好的泛化能力。
其他文献
背景:内质网(endoplasmic reticulum,ER)和晚期内吞体/溶酶体(late endosome/lysosomes,LE/lys)之间的膜接触位点(membrane contact sites,MCSs)是多种重要细胞活动(内吞体成熟、运输以及细胞内脂质和离子稳态维持)的调控枢纽,其异常与神经系统疾病的发生密切相关。然而,关于这些MCSs的组成、调控和功能目前仍不清楚。目的:鉴定
“勒勒车”作为中国北方少数民族传统交通运输工具,曾在牧民游牧迁徙的生活方式中发挥过重要作用,现已成为民族文化的象征,但其得名原因却存在着误解并广为流传。本文基于田野调查和文献资料,就“勒勒车”得名原因和时间等问题试作考证,认为“勒勒车”得名原因在于其行驶时轮轴摩擦发出的声音,在内蒙古中东部、黑龙江西部等少数民族与汉族混居的地区,人们在用汉语交流时称其为“勒勒车”;“勒勒车”在汉语文献中又被书写为“
静脉畸形是一种血管结构异常的先天性疾病,其发病缓慢,若位于面深部,则不易被发现;当机体免疫力下降或合并感染时可出现局部肿大、疼痛等症状。静脉石是由于血流动力学改变,血液在血管内形成血栓,血栓进一步钙化而形成的[1]。唾液腺结石病是唾液腺好发疾病之一,常表现为局部肿胀,进食后尤为明显,其主要发生部位
相位梯度超表面是一种由周期性亚波长结构阵列组成的二维人工超材料,具有高度灵活的电磁响应特性,且能够在亚波长尺度内自由操纵电磁波的振幅、相位以及偏振等参量信息。由于金属材料在光学波段内的固有损耗问题,具有高折射率、低损耗的介质型相位梯度超表面应运而生。相比于传统光学器件,介质型相位梯度超表面具有平面超薄、设计灵活以及紧凑易集成等优势,能够满足现代光学器件和系统对小型化、集成化以及多功能化的需求,在光
本论文针对环境中Cr(Ⅵ)与有机污染物共存且难以同步去除的问题,力图通过调控生物炭表面氧化还原位点实现污染物的氧化还原去除,着力探讨生物炭还原Cr(Ⅵ)、氧化降解有机污染物及同步去除Cr(Ⅵ)和有机污染物的反应机制,相关研究结果可概括如下:(1)对裂解温度影响生物炭结构展开研究。元素分析结果表明,随着裂解温度升高,生物炭C与Si元素含量不断增加,N、O、H等元素含量不断下降。采用C/H比值表征生物
第一部分MRSP通过PI3K-Akt通路促进血管平滑肌细胞凋亡目的:前期研究表明Mfn2基因具有显著的抑制细胞增殖和促进细胞凋亡的作用,我们在此基础上合成的Mfn2基因相关多肽(MRSP)的作用,尚缺乏具体的机制研究,本研究旨在明确MRSP干预对血管平滑肌细胞(VSMCs)凋亡的作用,并研究MRSP对VSMCs凋亡作用的机制研究。方法:分别采用不同浓度(10μM、25μM、50μM)的MRSP干预
学位
人工神经网络(ANN)技术的快速发展使智能化社会的实现逐渐成为可能,然而,基于CMOS器件的ANN距离生物大脑还有不小差距。与CMOS器件相比,忆阻器在结构和功能上更接近于突触和神经元,利用忆阻器构建的忆阻神经网络具有更快的速度和更低的功耗,有助于实现更接近生物大脑的人工智能。但是,忆阻器的研究还存在如下问题:在材料层面,忆阻材料(如过渡金属氧化物)中存在着离子和电子的相互作用,目前对于这种离子-
第一部分新型冠状病毒肺炎患者出院3个月炎症免疫特征和临床特征分析目的:相当多的新型冠状病毒肺炎(Convalescent coronavirus disease 2019,COVID-19)患者从病毒感染中幸存,患者的后遗症需密切关注和持续随访,但是当前的研究多集中在COVID-19的死亡风险上,很少见到有关患者出院后免疫变化及其与临床特征的相关性的报道。这项前瞻性横断面研究探讨了出院后3个月时C
汉蒙谚语中有大量与"车"相关的谚语,这些谚语不仅记录着汉蒙民族造车、驾车的丰富智慧,记载了"车"对两族人民基本生活需求的满足,还蕴含着鲜明的民族色彩。汉蒙"车"类谚语不仅显现了农耕文明与游牧文明的差异,还在地域风尚与时代特色等方面体现出了两个民族独特的风貌。
基于纳米载药系统的光热化疗联合治疗,可以通过光热效应增加药物在肿瘤部位的蓄积、增强药物在肿瘤组织中的渗透、促进药物在靶部位的释放和增强药物的细胞毒性等作用产生协同的治疗效果。由于机体内复杂的生理环境,用于光热化疗联合治疗的纳米药物如何克服多重生理病理屏障,将光热转换剂和化疗药物高效率地递送至肿瘤组织,并精准调控药物在靶位点的释放行为,实现最佳的抗肿瘤协同效果,减少毒副作用,是光热化疗联合抗肿瘤中亟