论文部分内容阅读
深空探测、军事侦察、遥感航拍等成像应用领域需要解决的主要问题之一是如何将多个成像传感器具有的一定重叠区域的高分辨率图像快速敏捷地合成一幅宽视角的全场景图像。宽视场高分辨率快速拼接成像技术是一种集光学、计算机视觉、图像处理以及并行计算等多个学科和领域的交叉技术,具有重要的理论意义和实际应用价值,也是国内外研究的热点之一。宽视场高分辨率快速拼接成像涉及多源图像配准、融合拼接、边缘修复以及快速并行处理硬件平台设计等多方面技术。考虑到实际应用中,图像传感器的数量、类型和位置等因素存在不确定性,输出的图像数据吞吐率巨大,系统的应用环境可能受光照变化、图像内容变化、视差及动态目标干扰等影响,都对算法的处理精度、鲁棒性和普适性,以及硬件处理平台的计算效率等提出了更高的要求。本文围绕宽视场高分辨率快速拼接成像系统实现的关键技术开展研究,主要的研究内容和创新点如下:首先,提出了一种适用于复杂背景下的高精度强鲁棒性快速图像配准方法。该方法改进了用于检测提取待配准图像中特征点的ORB(Oriented FAST and Rotated BRIEF)算法,通过增加对尺度图像的预处理,提高了提取的特征点质量并保证了算法的尺度不变性,根据特征点的分布,给出了去除大量不可靠匹配点对的特征距离约束条件。而对于特征点稀疏和缺乏纹理的图像,还提出了一种基于几何约束的特征点匹配算法,对特征点建立基于几何不变量的特征描述,更新了匹配代价函数来评估特征点之间的相似性,最后利用改进的样本一致性算法获得精确的图像几何变换关系。对各种复杂场景的图像数据配准结果表明,本文提出的算法在显著降低错误匹配率的同时能保留更多高质量的匹配点对,具有较强的鲁棒性,便于快速处理。之后,提出了内容保护低畸变的多视角图像拼接方法。该方法先对序列影像自动排序,利用基于最佳缝合线搜索的拼接方法完成了无视差下的拼接,并对拼接后的图像进行了漂移校正;对存在视差下的图像拼接,利用特征点筛选机制、光束平差法和优化的局部变换模型来消除视差影响,克服了传统基于全局单应性变换的拼接方法只能处理近似二维平面的图像场景的不足。针对图像非重叠区域形状畸变较大的情况,提出了多约束的局部混合变换拼接方法,在保持重叠区域对齐精度的基础上,减轻非重叠区域的形状畸变。实验结果表明所提出的方法能够有效处理图像视差问题,消除了拼接错位和鬼影问题,并显著减轻了形状畸变,保护了图像的主体内容和整体结构。针对传统的影像修复方法大多只能对图像中间区域的空洞进行修补的不足,提出了一种宽视场边缘受损影像的修复方法。该方法采用基于最优填补缝搜索的算法将填补内容集中在图像的能量最低处,避开了细节丰富区域,通过复制和插值的方式进行单像素宽度的细缝填充,将整个图像拉伸至规则边界处,最后通过能量函数约束和网格优化对图像进行局部调整。实验结果表明本文方法能够在保护原始图像内容和整体结构的基础上,很好的完成受损边缘的修复任务,获取形状规则的低畸变宽视场拼接影像。设计了一种基于Tilera众核架构的快速图像处理硬件平台,用于宽视场高分辨率图像的拼接处理。分析了传统的基于CPU/GPU的多核硬件处理平台以及基于DSP/FPGA等嵌入式硬件平台在进行复杂图像处理时的局限性。根据高分辨率宽视场快速拼接成像的应用需求,设计了以Tile Gx64众核处理器为主控核心的CPU核心板,以及功能接口扩展底板。通过数据划分和算法任务调度的方式,对本文算法进行了并行化设计,优化和提升了系统的整体性能与运行效率。实验结果表明,所设计的硬件系统能够高效地完成快速处理,并且在处理效率和功耗上要显著优于传统多核CPU。最后,论文对完成的工作及创新点进行综述,并对今后的发展前景和下一步的研究方向进行展望。