论文部分内容阅读
鉴于现代计算机技术的飞速发展,越来越多的自然场景图片被收集并分析,用于军事领域,科学研究以及与目标检测相关的计算机视觉领域。但是,这些收集到的图片清晰度会受到雨雾天气的影响,从而降低图片中事物的可见度。这不仅会影响美观,还会影响到与图像处理相关工作的顺利进行,尤其是在一些精密的科学研究领域,例如自动驾驶和视频监控等工作。因此,我们需要找到一些切实可行的方法实现图像去噪,以此来提高图片的质量。本文基于现有的生成对抗网络模型提出了改进的图像去雨算法和图像去雾算法,通过将图像风格转换的思想与图像去噪过程结合,对现有的生成式模型损失函数进行改进,提出了更具有普适性的图像去噪算法。在图像去雨问题上,通过向原网络结构中添加VGG-16模块来提取感知损失,对损失函数进行改进,提出了新的图像去雨算法。在图像去雾的问题上我们对Pix2pixHD模型进行了改进,通过使用多尺度的生成网络和判别网络对数据集进行训练,来实现生成图片的高分辨率处理,保证了生成图像的清晰度。同时我们在网络中添加了色调约束项来对训练过程进行约束,通过改善生成去雾图像的对比度,使其和目标图像不会出现明显色差,以此来提高生成图片的质量。与现有的一些理想化图像去噪方法相比,本文的主要贡献有以下几点:(1)本文提出的图像去噪模型将图像去雨过程和图像去雾过程视为同一场景下图像的风格转换问题,用配对的图片训练网络,不需要设置先验模型,同时网络训练速度更快,模型可以更快的达到收敛。(2)图像去雨问题的重点在于保证生成去雨图片的清晰度和雨水遮挡内容的恢复,因此在现有的模型基础上,我们将VGG-16模块添加到原始的生成网络当中,以提取感知损失来作为损失函数新的组成部分。添加了感知损失的新网络模型可以更好地恢复图像特征级别的细节信息,进一步保证了去雨前后图片内容上的一致性。(3)图像去雾实验的重点在于通过去雾操作实现图像雾气的去除,在保证生成图片清晰度的同时,还要确保图片内容的对比度与目标图片保持一致,使生成图片不会出现较大的颜色偏移,这一步主要是通过改善图片对比度实现的。本文提出的图像去雾模型是在Pix2pixHD网络模型的基础上改进的。多尺度的生成器保证其在训练过程中可以学习到更多的局部细节信息。联合多尺度的判别器,整个模型生成了具有了更高分辨率的图像。在实现了生成图像高清晰度处理的同时,通过在网络训练过程中添加色调约束项来保证生成图片不会出现颜色偏移的情况,使实验结果具有更高的逼真度。