图像配准是计算机视觉领域一个重要研究方向,被广泛地应用于图像融合、图像拼接、变化检测等任务。图像配准是指将在不同的成像条件下获取的两幅或多幅图像进行拼接融合的过程,待配准图像对既可以是同源图像(来自同一传感器),也可以是异源图像(来自不同传感器)。本文主要研究异源图像配准技术,异源图像配准不仅要解决同源图像配准中面临的几何形变、光照变化等问题,还要解决具有不同成像机理的传感器所带来的显著的外观差异的问题。针对异源图像配准,本文提出三种基于卷积神经网络的图像局部特征配准方法,具体内容如下:(1)基于多尺度卷积神经网络MS-Net模型的异源图像配准。基于度量学习的图像块匹配方法通过网络学习一个非线性的相似性度量函数,能更加精确地建模匹配对应关系。然而现有的度量学习方法缺乏一个合适的困难样本挖掘策略,针对这个问题,本文提出一个三分支-双通道度量学习网络(MS-Net)。该网络可以基于相似性得分,挖掘困难负样本。进一步地,为了增强特征的尺度不变性以及判别性,本文提出了一个轻量化的多尺度卷积模块(MS-Module)。实验表明,MS-Net不仅在块匹配任务上取得了良好的性能,也能成功用于异源图像配准。(2)基于注意力机制FocalNet模型的异源图像配准。在图像块匹配网络训练过程中,网络很容易将具有较高视觉相似性的困难样本对判别错误。注意力机制在很多计算机视觉领域中已经取得了显著的效果,因此本文提出了FocalNet模型,将注意力机制引入图像块匹配任务。FocalNet可以重点关注图像块中重要的局部细节特征,忽略不需要的特征,增强了特征的判别性。此外,广泛使用的三元组损失仅仅考虑正负样本对之间的距离,而忽略了类内距离,过大的类内距离损害了描述子的泛化能力。针对这个问题,本文提出了间隔损失(Margin Loss),进一步增强了描述子的泛化能力。实验表明,FocalNet模型在异源图像上取得了良好的配准性能。(3)基于流行距离ArcNet模型的异源图像配准。现有的描述子学习方法大多都使用L2距离度量两个图像块是否匹配,然而由于描述子向量通常被归一化到超球面上,两个描述子之间的L2距离是高维超球面上两点之间的直线距离,因此L2距离并没有充分利用超球面描述子空间的分布特性。本文使用流形距离(弧长)去度量图像对之间的相似性,因此提出了基于弧长间隔的三元组损失(Margin ArcLoss)。进一步地,由于最优的间隔需要经过大量的实验确定,在弧长距离的基础上,本文提出了自适应间隔弧长距离损失函数(Adaptive Margin ArcLoss)。自适应弧长间隔损失函数在现有的图像块匹配、检索任务上取得了最好的性能,同时本文提出的流行距离度量并没有引入额外的计算代价。在异源图像配准任务上,本文提出的方法可以达到亚像素级配准精度。