近年来,底层图像处理(包括图像配准,降噪,融合和增强)在高级视觉系统如视频监控和自动驾驶汽车中作为预处理方法发挥着重要的作用。它们已经成为越来越多研究人员的研究方向。图像配准的基本目的是找到同一场景的两个或多个图像之间的空间变换关系,并对这些图像执行相应的空间变换。这是图像拼接,融合和重建的重要部分。多光谱图像的理论基础是自然场景中的物体在不同波段具有不同的吸收,反射和辐射特性。在视频监视中,需要对由不同传感器获得的图像进行配准。由于不同传感器获得的图像具有不同的特性,从而导致图像配准技术变得复杂。图像融合能够整合多个传感器的优势,生成适于人类视觉感知和后续视觉任务的融合结果。它可以充分利用不同传感器各自的优点并对融合结果进行优化来克服单个传感器的缺陷。因此,它可以产生准确,可靠并且信息丰富的图像。由于夜间光线不足,可见光传感器得到的RGB图像包含大量噪声和严重的纹理损失。但是,在弱光条件下也没有颜色信息的近红外(NIR)传感器可以产生清晰的纹理细节。因此,RGB图像和近红外图像是互补的,可以有效地融合。在本文中,我们研究了基于深度学习的RGB和NIR图像的多光谱配准和融合。具体而言,我们提出了基于卷积神经网络(CNN)的用于多光谱配准和融合的网络结构。我们还为他们设计了训练数据的生成方法,以解决训练数据缺乏的问题。本文的主要内容如下:1.我们提出了一种基于人工神经网络的多光谱图像配准方法。现有的大多数图像配准方法都基于关键点检测和匹配。但是,传统的配准方法主要是配准相似传感器生成的图像,而且形变模型主要为线性变换。尽管我们所提出的方法的配准结果会产生细节模糊的问题,但是该方法并不需要形变模型作为先验信息。因此,我们提出了一种基于人工神经网络的图像配准算法,他能充分利用多光谱图像的信息。2.我们提出了一种基于人工神经网络的多光谱图像融合方法。可用的训练集的不足及真实图像的配准精度不足给RGB图像与NIR图像的融合带来了较大的挑战。在本文中,我们提出了使用归一化梯度图的RGB与NIR端到端融合网络。同时,我们提出了一种用于多光谱融合的训练数据生成的方法,该方法使用NIR图像的归一化梯度图作为输入,而不是将NIR图像直接馈入网络。由于梯度信息对于多光谱配准图像具有更好的鲁棒性,我们采用了梯度引导策略实现多光谱图像配准。我们从清晰的RGB图像生成归一化的梯度图与低亮度模糊彩色图来进行网络训练。新的训练数据生成方式解决了训练数据不足的问题,并使NIR的纹理信息能有效地传输到融合结果。本文所提出的融合网络包括三个子网络:降噪子网络,融合子网络和增强子网络。我们在降噪子网络中采用了残差密集块结构,在融合子网络中采用多尺度导引的方法,而在增强子网络中,我们使用了多深度选择结构。