论文部分内容阅读
图像去噪在计算机视觉领域仍然是一个活跃且具有挑战性的研究课题,同时也在视频感知与智能分析、遥感成像和航天图像分析等多个高新技术产业中有着广泛的应用。在众多去噪方法中,卷积神经网络(Convolutional neural network,CNN)凭借其强大的特征学习能力在图像去噪研究领域中取得巨大突破。然而,基于CNN的图像去噪技术仍存在以下两个至关重要的问题有待解决:第一,去噪的本质是在去除噪声的同时尽可能完整地保留图像本身的信息,但目前去噪后图像仍会不可避免地丢失图像细节信息;第二,基于CNN的图像去噪技术在加性高斯白噪声(Additive Gaussian White Noise,AWGN)图像上表现突出,但在真实噪声图像上表现不佳,甚至还不如传统方法。对于去噪后图像会不可避免地丢失图像细节信息的问题,首先,深入研究基于残差学习的图像去噪技术,探索噪声图像和干净图像对之间的差异即残差图像,发现残差图像中不仅包含大部分AWGN,还包含丰富的图像细节信息,从而导致去噪图像中细节的严重损失;其次,提出一个损失最小化问题;最后,通过对最小化问题的分析构建出一个数学模型和一个端到端细节保持卷积神经网络(Detail retaining convolutional neural network,DRCNN)。DRCNN具有两个功能模块:产生模块(Generation module,GM)和细节保持模块(Detail retaining module,DRM),其中,GM模块将噪声从噪声图像中分离用于产生中间特征图(Intermediate feature map,IFM);细节保持模块用于学习出中间特征图中缺失的大量图像细节特征,使得DRCNN的输出图像能保持图像细节信息。与大多数基于CNN的去噪技术不同,DRCNN不仅致力于图像去噪,还专注于高频图像内容的完整性。同时,DRCNN需要较少的参数和存储空间。此外,DRCNN还可适应于不同的图像恢复任务,例如盲图像去噪、单张图像超分辨(Single image super-resolution,SISR)、盲去模糊和图像去水印。实验结果表明DRCNN在噪声水平为15、25、50的标准公共数据集BSD68和Set12上的峰值信噪比(Peak signal to noise ratio,PSNR)/dB和结构相似性(Structural similarity index method,SSIM)值可分别达到31.74dB/0.8975、29.26dB/0.8467、26.29dB/0.7323和32.88dB/0.9401、30.56dB/0.8948、27.29dB/0.8190,优于所比较的经典和新颖的方法。对于基于CNN的去噪方法在AWGN图像上表现突出,但在真实噪声图像上表现不佳的问题,首先,探究AWGN和真实噪声图像的灰度直方图分布之间的差异,发现真实噪声图像的像素分布明显更加复杂;其次,深入探究更有利于学习丰富的像素特征的注意力机制、多路径网络以及特征融合方式;最后,建立一个基于注意力机制的端到端盲去噪网络EDFNet,可有效学习复杂像素分布特征。EDFNet由加权特征提取模块(E)、多路径残差密集模块(D)以及多尺度特征融合模块(F)组成。E通过自适应地调整通道重要性来提取出更具有判别性的底层像素特征;与被广泛应用于高级计算机视觉任务的DenseNet不同,D包含密集连接层、局部特征融合(Local feature fusion,LFF)和局部残差学习(Local residuals learning,LRL),可充分提取层次空间特征,非常适合图像恢复类的任务;F不同于简单的像素相加和通道拼接的特征融合方式,而是基于空间注意力机制自适应地加权融合不同尺度的特征,从而突出多尺度特征的空间和通道特异性。EDFNet在真实图像去噪测试集Darmstadt noise dataset(DND)上的PSNR/SSIM值可达到36.10dB/0.9019,比所对比的盲去噪方法提高了3.67dB/0.1119,比非盲去噪方法平均提高了1.79dB/0.0536,同时表现出突出的视觉效果,具有更大的实际应用价值。