论文部分内容阅读
动平台动目标检测是指在运动成像平台获取的图像序列中检测运动目标,将运动目标从运动场景中分离出来的过程。它是视频分析理解的基础性步骤之一,在视频监控、智能辅助驾驶、机器人环境感知、以及光电侦察、精确制导等军事领域均有非常广泛的应用。准确高效的运动目标检测是上述高层视觉任务能顺利完成的保障,但也面临许多挑战,包括:1)复杂运动场景和成像条件下,特征提取及准确建模难;2)目标和背景的运动相互耦合,目标准确分离难;3)有限资源约束下,运动目标实时检测系统实现难。针对上述挑战,本文围绕基于图像配准的动平台动目标检测方法和系统,通过背景和目标运动信息的准确获得、运动解耦准确性的预判和估计、图像配准与目标检测的协同融合提高图像配准和目标检测性能,并且突破平台资源约束,基于多层次、多粒度并行/流水的异构并行架构实现高时效的目标检测系统。
针对特征点主方向估计误差导致的特征点匹配性能和图像配准性能下降,分析了现有特征点主方向估计方法误差来源,研究了影响主方向准确性的关键因素,进而,定义了一种具有明确物理含义的、表征梯度整体趋势的特征点主方向,并引入旋转不变梯度对特征区域内空间结构特征进行准确描述,提出了一种新的特征点主方向估计方法。实验表明该方法显著地提高了主方向估计的准确性,将有效特征点的占比提升了9%~30%,有效提升了图像配准中正确匹配点对数量和配准精度。
针对图像配准不准确导致的运动解耦不充分和目标检测性能下降,对序列图像配准准确性的预测方法展开了探索性研究。分析比较了不同特征提取方法在配准中的性能差异,并基于序列图像特点研究了影响配准精度的关键因素,提出了一种基于内点分布特性的配准准确性预测方法。该方法对图像配准过程中的内点分布均匀性进行建模分析,实现对序列图像配准准确性的预测和估计。实验表明,该方法能适应不同的特征提取方法和不同类型的图像,预测配准结果的准确率高达80%以上,并能将绝大部分不准确的配准检测出来,为后续视觉任务提供指导。
为了提高运动目标检测的精度和实时性,分析了图像配准对目标检测的影响机制,研究了目标检测过程中配准精度和检测精度下降的机理,提出了一种图像配准与运动目标检测协同融合的检测方法。不同于传统的流水线型的目标检测框架,该方法将检测结果反馈到图像配准环节,利用前一帧图像的检测结果提高当前帧图像配准精度;同时,预测图像配准的准确性,并用其指导后续目标检测过程,提高检测性能。实验表明,通过配准和检测信息互补、协同增强,以及特征提取方法选优,该方法显著减少了虚警,提高了目标检测精度和实时性。
为了满足具体应用需求,在有限资源约束下实现目标的实时检测,提出了一种基于FPGA+DSP的动平台动目标实时检测系统。该系统基于检测算法中各模块计算特性优化了算法整体结构,设计了多层次、多粒度的并行/流水结构,并结合序列图像配准需求针对性地优化了特征提取模块,达到了降低FPGA资源占用率和提高系统实时性的目的。该系统能以60帧/秒的速度在1280×720图像序列中完成目标检测任务,并且检测性能与纯软件版本仅相差0.02%,满足实际应用对功耗、体积、实时性和检测性能的要求。
针对特征点主方向估计误差导致的特征点匹配性能和图像配准性能下降,分析了现有特征点主方向估计方法误差来源,研究了影响主方向准确性的关键因素,进而,定义了一种具有明确物理含义的、表征梯度整体趋势的特征点主方向,并引入旋转不变梯度对特征区域内空间结构特征进行准确描述,提出了一种新的特征点主方向估计方法。实验表明该方法显著地提高了主方向估计的准确性,将有效特征点的占比提升了9%~30%,有效提升了图像配准中正确匹配点对数量和配准精度。
针对图像配准不准确导致的运动解耦不充分和目标检测性能下降,对序列图像配准准确性的预测方法展开了探索性研究。分析比较了不同特征提取方法在配准中的性能差异,并基于序列图像特点研究了影响配准精度的关键因素,提出了一种基于内点分布特性的配准准确性预测方法。该方法对图像配准过程中的内点分布均匀性进行建模分析,实现对序列图像配准准确性的预测和估计。实验表明,该方法能适应不同的特征提取方法和不同类型的图像,预测配准结果的准确率高达80%以上,并能将绝大部分不准确的配准检测出来,为后续视觉任务提供指导。
为了提高运动目标检测的精度和实时性,分析了图像配准对目标检测的影响机制,研究了目标检测过程中配准精度和检测精度下降的机理,提出了一种图像配准与运动目标检测协同融合的检测方法。不同于传统的流水线型的目标检测框架,该方法将检测结果反馈到图像配准环节,利用前一帧图像的检测结果提高当前帧图像配准精度;同时,预测图像配准的准确性,并用其指导后续目标检测过程,提高检测性能。实验表明,通过配准和检测信息互补、协同增强,以及特征提取方法选优,该方法显著减少了虚警,提高了目标检测精度和实时性。
为了满足具体应用需求,在有限资源约束下实现目标的实时检测,提出了一种基于FPGA+DSP的动平台动目标实时检测系统。该系统基于检测算法中各模块计算特性优化了算法整体结构,设计了多层次、多粒度的并行/流水结构,并结合序列图像配准需求针对性地优化了特征提取模块,达到了降低FPGA资源占用率和提高系统实时性的目的。该系统能以60帧/秒的速度在1280×720图像序列中完成目标检测任务,并且检测性能与纯软件版本仅相差0.02%,满足实际应用对功耗、体积、实时性和检测性能的要求。