【摘 要】
：
行人识别作为计算机视觉的重要研究方向,广泛应用于智能安防、辅助驾驶和军事侦察等多个领域。但室外场景行人图像易受低光照、雨雪雾等恶劣环境干扰,单一模态的行人识别容易出现误检与漏检现象,影响后续识别效果。针对以上问题,本文采用红外与可见光两种模态进行融合,在构建恶劣环境下的多模态行人数据集的基础上,构建MSKEYOLO行人识别算法,以提升恶劣环境下行人识别的准确率。本文主要研究内容如下:（1）恶劣环境
【基金项目】
：
陕西省重点研发计划（编号:2021GY-287）；
论文部分内容阅读
行人识别作为计算机视觉的重要研究方向,广泛应用于智能安防、辅助驾驶和军事侦察等多个领域。但室外场景行人图像易受低光照、雨雪雾等恶劣环境干扰,单一模态的行人识别容易出现误检与漏检现象,影响后续识别效果。针对以上问题,本文采用红外与可见光两种模态进行融合,在构建恶劣环境下的多模态行人数据集的基础上,构建MSKEYOLO行人识别算法,以提升恶劣环境下行人识别的准确率。本文主要研究内容如下:（1）恶劣环境下行人数据集的预处理及构建针对恶劣环境下行人数据集图像质量差、数据量少和样本多样性不足等问题,先采用改进Retinex算法和改进自适应增强算法提升图像质量,继而将所获高质量图像采用传统方法和DCGAN模型对数据进行扩充并丰富样本多样性,最后对所构建的恶劣环境下行人数据集进行标注与划分,以便后续图像融合与行人识别模型的应用。（2）基于改进GAN网络的多模态图像融合算法研究针对传统图像融合方法存在梯度消失、训练速度慢且易忽略图像细节信息的问题,本文提出SDGAN网络模型对红外与可见光图像进行融合。首先在生成器中引入注意力机制模块提升通道间特征关注度,加入密集连接解决梯度消失问题;其次使用双判别器结构并引入谱归一化,提升模型训练稳定性并加速模型训练;最后设计细节损失与目标边缘增强损失锐化目标边缘。通过与五种经典融合算法的仿真实验对比,进行定性与定量分析,结果表明SDGAN模型可获得图像边缘清晰、纹理细节丰富的融合图像,可应用于后续行人识别及相关领域。（3）恶劣环境下的多模态行人识别算法研究针对现有行人识别模型在恶劣环境中准确率低、鲁棒性差的问题,本文提出MSKEYOLO行人识别算法。首先利用Mosaic-9数据增强方法提升模型鲁棒性;其次引入注意力机制以提升模型在恶劣环境下对行人目标的特征提取能力;最后采用K-means++聚类加速模型收敛,并对边框回归损失函数进行改进以提升模型准确率。通过单模态与多模态对比、与四种经典算法对比及消融实验,结果表明MSKE-YOLO算法准确率达到93.1%,实时性达到43FPS;并在目标检测与跟踪控制系统平台上对改进算法进行验证以说明其实用性,可有效应用于恶劣环境下多模态行人识别及相关领域。
其他文献
永磁同步电机具有结构简单,能耗低、动态响应快等诸多优势,使其在交流传动领域广泛应用。然而,由于其是一种高阶、非线性、强耦合、多参数的物理系统,传统的控制方法难以满足其高性能控制的要求。为了实现系统高性能的矢量控制,就必须要有精确的转子位置信息。以往的传统方法是使用机械式位置传感器,但是这种传感器存在制造成本高、维护成本大以及在某些极端环境下难以应用的问题,因此,PMSM无位置传感器技术受到广泛研究
随着无人机使用领域不断拓宽,无人机研究已进入编队执行复杂任务的阶段,需要愈加精细复杂的编队航路规划与控制,以适应复杂的应用场景。在执行空中加油、长距离编队运输、高精度定位、多角度成像等任务时,必须考虑无人机编队在通信约束下的队形稳定性、编队内部避碰问题、以及执行任务的时序与死锁问题。本文以固定翼无人机编队为研究对象,考虑编队飞行环境中常见的复杂性约束条件,针对通信受限、无人机碰撞问题及任务规划问题
无人驾驶汽车在道路中行驶时,若无法精确采集行人、车辆以及水坑等外界重要信息,极易造成人民财产损失以及人员伤亡情况。为了解决信息采集的精确性问题,本文通过研究深度学习与视觉成像模型组合的方法,得到精确的物体位置,从而提高无人驾驶汽车的可靠行驶。现有摄像机测量的方法效果较好,但仍然存在以下问题:现有摄像机标定的过程中,需要考虑摄像机物理特性、外界环境信息对摄像机的标定影响,一般结合多个线性过程的方法求
自显微成像技术发展至今,人们探索到了别有洞天的微观世界,然而随着科技的进步和社会的发展,人们在寻找一种定量、非接触式的方法来获取样本的三维信息。通过对当代显微成像技术的对比发现,基于生物荧光的方法虽然可实现定量测量,但是会损伤/杀死样本细胞,无法实现非接触式测量;而数字全息技术虽然可实现当下需求,但是由于需要相干光以及复杂的仪器设备,导致制造成本大幅提高。因此最终选用基于光强传输方程的方法来恢复相
随着现今经济水平的提高,汽车行业发展也异常迅猛,但同时也伴随着交通事故的频发,严重威胁人们的财产以及生命安全。现有车内驾驶员突发疾病及司乘人员发生暴力冲突交互的异常行为识别检测应用很少,并且车内空间受限、遮挡和光照等会导致有效性差等难题,以至于对异常行为不能准确进行检测,进而阻止事故的发生。针对这三种最容易发生在车里的异常行为:驾驶员趴在方向盘上、晕倒斜躺以及驾驶员与乘客的暴力冲突,本文提出基于人
机场跑道异物（FOD,Foreign Object Debris）是指出现在机场跑道区域内且会损伤航空仪器或者航空系统的外来物体。FOD对飞机起落与乘客生命带来了严重的安全威胁,因此FOD的检测方法研究是航空领域的一个研究热点。现有基于毫米波雷达的FOD检测方法难以满足检测精度要求,而基于可见光图像处理的FOD检测方法在图像配准和畸变矫正方面还存在诸多问题,影响到检测的准确度。针对上述问题,本文重
随着工业时代的快速发展,人们对工厂内的生产效率和生产安全有着越来越高的需求。为了对各生产环节的效率进行评估,同时为了避免意外伤害事故的发生,视频监控和智能分析技术发挥着非常重要的作用。但现有的传统监控系统仍有一些不足,首先传统的视频监控大多是通过人工的方法对各生产环节的人员行为进行判断,不够准确;而且传统的视频监控技术大多是离线运行,无法对人员行为进行精准实时的判断与危险预警。本文针对这两个主要问
三电平逆变器具有输出波形畸变率低、开关损耗小等优点,在航空航天、工业驱动等领域广泛应用其中,中性点钳位型（NPC）拓扑结构的三电平逆变器使用最为普遍。然而,由于NPC型三电平逆变器开关管数量多,且长期处于高压、大电流等恶劣环境中,易发生开路故障,影响设备的正常运行,严重时甚至引发人身财产安全事故。基于传统信号分析的NPC型三电平逆变器故障诊断方法,具有诊断速度快、实时性好的优点,但是它存在频谱泄露
广袤无垠的大海是自然界赋予人类的一个丰富的能源宝库,人类在海洋上进行各种探索作业时,船只长期在海洋性气候环境下工作,内部设备中的电路板在盐雾的腐蚀以及温湿度的影响下,会发生电化学迁移,导致电路板绝缘电阻下降,发生绝缘失效,在设备运行过程中影响其可靠性,更有甚者会引发火灾等事故。因此,预测电路板的电化学迁移失效时间,辅助工作人员做出电路板的维修或更换决策,保障电子设备可靠运行具有重要意义。针对电路板
在夜间缺乏光源的道路中驾车行驶时,由于对向车辆切换远近光灯不当,产生的晕光炫目且覆盖了行人、车辆等重要信息,极易引发交通事故。为了消除晕光对夜间行驶的影响,本文通过研究可见光与红外异源图像融合的抗晕光算法,输出目标清晰、信息丰富的无晕光图像,从而提高夜间行驶的安全性。现有图像融合抗晕光的方法效果较好,但仍存在以下3点问题:1.现有图像增强算法在增强夜间晕光场景拍摄的可见光与红外图像时,存在扩大晕光