论文部分内容阅读
图像超分辨率重建(Super Resolution,SR)是计算机视觉和图像处理中一类重要的图像处理技术,旨在通过保留丰富的细节(例如颜色和边缘)以及减少干扰(例如模糊和伪影)来放大低分辨率图像(Low-resolution Image,LR)。它可以用于不同的图像处理任务,包括卫星成像、军事、医学成像以及手机和平板电脑中的图像放大。和通过改善硬件条件来提升图像质量的方法不同,SR算法同时具有低成本和适用性广等特点,因此一直被学术界和工业界密切关注。基于深度学习的SR方法通常假定LR图像已通过固定的“理想”下采样内核(例如Bicubic下采样内核)从未知的高分辨率图像(High-resolution Image,HR)降采样。但在真正的LR图像集中,却很少出现与降采样得到的LR数据集相似的图像,当假定的下采样模糊内核偏离真实内核时,SR方法的性能将大大降低。针对退化过程中模糊核假设单一的问题,本文通过Matlab代码提取手机图像集中的真实模糊核将HR图像退化为接近真实场景的图片。同时把模糊核作为图像的先验信息输入网络,使用空间特征变换层(Spatial Feature Transform,SFT)让网络能更好的利用模糊核信息对LR图像进行重建。本文在使用高斯模糊核和真实模糊核合成的测试集上对提出的模型进行了测试,并与目前主流的基于深度学习的SR模型进行了比较,实验证明模型在评价指标和视觉效果上有很好的表现。针对模糊核训练集不具有多样性,模型实用性和普适性差等问题,本文使用了生成对抗网络(Generative Adversarial Networks,GAN)对模型进行优化,在提取出的真实模糊核上进行了基于GAN的训练。再通过已训练的GAN模型生成了接近真实模糊核的样本,将其用于模型训练以增强模型普适性。同时,将模糊核估计模块加入SR网络模型中以取代提取模糊核的预处理步骤来提高模型的实用性。得到的模型同样在测试集上进行了实验比较,实验证明模型能提高网络普适性,并在量化指标和视觉效果上有较好的效果。针对模型复杂和收敛速度缓慢的问题,本文最后对模型进行了改进。通过局部跳跃连接将浅层和中层的模糊核与重建网络中的图像特征相融合,得到的图像信息传递到深层网络。为了在保证效果的同时减少网络参数,将模型的网络层数降低。通过实验控制其它变量,进行了与第三章相同的实验,证明了提出的改进方法在保证重建效果的前提下能够加速网络收敛,降低模型复杂度。