雨线对光具有折射和反射作用,导致有雨的自然光学图像中的内容会存在一定程度上的退化现象,如模糊、形变等。这些退化现象会极大地影响人眼视觉质量和后续相应视觉分析系统的性能。因此,对图像去雨的图像清晰化研究在图像处理及计算机视觉任务中均具有极其重要的理论价值和实用价值。当前,图像去雨方法大致可分为模型驱动和数据驱动两类。模型驱动的方法主要通过相关领域知识,采用人工方式设计算法,如基于滤波或基于稀疏表示等浅层视觉表示模型的方法。由于雨线具有较为明显的几何结构特征,较易与物体的边缘和纹理混淆,极大地增加了基于模型驱动方法的处理难度,而有限的模型容量也导致了其去雨效果一般不理想。数据驱动的方法由模型自行从数据中学习有雨与无雨图像间的映射关系,这类方法以深度学习技术为代表,其性能依赖于网络训练时所使用的训练数据。由于真实场景下的有雨与无雨样本对极难获取,所以一般采用仿真方法产生训练数据。而雨天环境下的成像模型较为复杂,仿真方法无法较好地模拟复杂多变的真实场景,也即仿真数据与真实场景数据之间具有一定的差异性。因此,相关数据驱动方法的泛化性能会受到一定程度的限制,甚至出现在仿真数据集上表现良好,而对于真实数据集无效的情况。针对现有去雨方法的不足,本文另辟蹊径,将图像处理中的领域知识用以驱动和引导深度学习技术,集模型驱动与数据驱动两种方法之所长,开辟一个新的研究方向,并以单幅图像去雨为具体的验证对象,在国际上首次提出基于深度学习的单幅雨天图像清晰化算法。论文主要研究内容和创新点如下:1.提出一种仅处理图像高频分量的去雨模型:DerainNet。本文通过实验发现,当对有雨图像和相应的无雨图像进行合适的高低频分解后,雨线主要集中在二者的高频部分,而低频分量中则基本不包含雨线。同目前深度学习方法直接学习图像间映射关系的常规做法不同,利用上述领域知识,本文将训练过程中直接学习有雨无雨图像间的映射关系转化为学习两者图像高频之间的映射关系,再将去雨后图像的高频分量与原始有雨图像的低频分量相加,得到最终的去雨后图像。一方面,由于高频图像具有稀疏性,从而简化了需要深度模型进行逼近的映射函数,进而提高了模型的去雨性能;另一方面,虽然仿真有雨图像与真实有雨图像具有一定的差异性,但它们的高频分量间仍具有相似性,因而所提方法在提高模型区域性能的同时,也提高了模型在实际应用中的泛化性能。另外,低频分量中包含有图像的对比度信息,通过对其进行增强操作,可以进一步地提高去雨后图像的对比度。相关文献调研表明,本文所提的DerainNet是国际上第一个在单幅图像去雨效果上取得较大突破的方法,同时也是第一个将深度卷积神经网络用于雨线去除的方法。实验结果表明,DerainNet在去雨后图像的主观效果和客观指标上,均有质的提高。相比于同时期的基于模型驱动的算法,DerainNet在公开的小雨数据集上的SSIM均值比其提高了8%,在更加复杂的大雨数据集上则提高了近83%。2.提出一种将领域知识与深度网络有机融合的去雨模型:Deep Detail Network。在DerainNet的基础上,本文进一步地提出了一种端到端的深度细节网络（Deep Detail Network,DDNet）去雨模型。该模型所利用的图像领域知识与DerainNet相似,所不同的是DDNet将图像领域知识直接融合到深度网络中,有效克服了DerainNet没有利用图像低频分量信息的不足。DDNet的网络特点具体为:1)DDNet网络的卷积层实际的输入与DerainNet相同,为稀疏的有雨高频分量,起到简化学习过程的作用;2)通过全局跨层连接结构将有雨图像与卷积层的最终输出跨层相加,作为最终去雨图像的逼近,这一跨层连接结构使得卷积层实际需要逼近的输出为负残差结构,且与DerainNet的输出类似,均为高频稀疏信号。另外,DDNet的基本网络模块采用了经典的残差网络（ResNet）模型,这一模型的局部跨层结构可以带来两点优势:1)这一结构可以消除网络变深所带来的梯度弥散问题,因此可以搭建更深的模型,获得更大的感受野和更强的非线性函数逼近能力,从而提高去雨性能;2)这一结构能够将浅层的特征图的信息无失真地传递到深层网络中,有效克服信息在传输过程中的损失问题,从而使得深度模型可以用于解决图像复原等底层视觉任务,突破底层视觉任务仅能利用较浅的深度模型的认知偏差（DerainNet仅包含3层卷积层,而DDNet包含26层卷积层）。相关实验结果表明,所提的DDNet在不增加参数数量的前提下,能够进一步地提升去雨的主客观处理效果。相比DerainNet模型,DDNet在复杂的大雨数据集上则提高了近14%。3.提出一种轻量级的金字塔去雨模型:Lightweight Pyramid Network。本文将DerainNet和DDNet对图像进行分解以简化学习过程的思想进一步扩展,提出了轻量级的金字塔去雨网络模型（Lightweight Pyramid Network,LPNet）。LPNet通过领域知识引入图像多尺度金字塔分解算法,将单一尺度下求解较为困难的去雨问题转化为多个不同尺度下的简单子问题。相比于DerainNet和DDNet在单尺度问题下的学习过程,LPNet的各尺度下子问题的学习过程会被极大地简化,对应的子网络仅需少量参数即可学习出映射关系。通过这种“分而治之”策略,可以极大地简化模型,使得设计轻量级的去雨模型成为可能。相关实验结果表明,与同时期的深度学习方法相比,LPNet在保证相近的去雨效果的前提下,网络参数的数量减少了近98%,降低两个数量级。4.相关模型的应用拓展。本文主要的验证对象是在单幅图像去雨,但其所采用的领域知识为自然图像的共性特征,例如图像高频稀疏性和多尺度分解等,因而相关模型应用也并不仅局限于图像去雨领域。为此,本文将所提出的三种模型进一步拓展到图像去噪、超分辨率重建、JPEG压缩伪影去除和遥感领域Pan-sharpening融合等问题中,相关实验结果均表明所提方法具有一定的比较优势。特别是对于Pan-sharpening问题,本文所提模型获得了当前最佳性能,主客观性能上均有质的飞跃,且实际应用中本文所提模型也具有较强的泛化能力。