近年来,得益于计算机视觉理论的日益完善和机器学习尤其是深度学习算法的迅猛发展,图像和视频的超分辨率重建技术和去模糊技术在理论和应用上都取得了突破性的进展。图像和视频的超分辨率和去模糊是两个高度病态问题,通常被分开处理。但是,由于摄像机距离被拍摄物体较远且二者之间产生相对运动会导致现实世界中的大多数图像和视频是低分辨率且带有复杂的模糊形式,这在拍摄的监控视频与体育视频等场景中经常会出现。超分辨率重建方法通常处理的都是模糊核已知且模糊形式简单的低分辨率图像及视频,对于复杂的模糊形式,超分辨率重建的效果普遍较差。在去模糊方法中,虽然其模糊核为复杂且未知的,但其分辨率一般是比较高的。对于低分辨率且具有复杂模糊的输入,仅使用去模糊方法无法生成高分辨率且清晰的结果。为此本文提出了基于深度学习的视频图像超分辨率及去模糊联合方法,其主要工作内容总结如下:1.本文提出了一种基于生成对抗网络的单帧视频图像超分辨率与去模糊联合方法。该方法聚焦于自然场景视频单帧图像,直接从模糊的低分辨率输入中重建出清晰的高分辨率视频帧。首先提出了一个基于生成对抗网络的模型来联合处理单帧视频图像超分辨率和非均匀运动模糊;其次,在生成器中,将联合问题解耦为特征提取模块、超分辨率重建模块和去模糊模块来处理,通过模块之间互相促进,能够重建出更加清晰的高分辨率视频帧;最后,本文对所提出的联合方法在定性与定量方面与现有的方法进行了比较,实验结果表明由于本文所提出的方法大多数操作都是在低分辨率空间中进行,因此具有较高的效率和较低的计算成本,同时重建出的视频帧相比现有的算法更加清晰。2.在单帧视频图像超分辨率与去模糊联合算法的基础上,本文将研究内容延伸到视频超分辨率与去模糊联合算法中,常见的视频方法都由运动估计和运动补偿这两个步骤组成,但这样做会导致输出的结果在很大程度上依赖精确的运动估计和运动补偿,同时由于HR的输出帧是通过卷积神经网络与多个LR帧的运动补偿结合所得到的,这就会导致输出的HR帧变模糊。针对现有方法存在的不足,本文提出了基于动态上采样滤波器的多帧视频图像超分辨率与去模糊联合方法。该方法首先使用动态上采样滤波器来对连续的多帧图像进行隐式的运动估计与补偿,动态滤波器是由网络模型所生成的;其次,该网络模型主要由两个分支组成,一个分支用来学习动态上采样滤波器,以此生成超分辨率视频帧,另一个分支用来重建与输入视频中心帧相同尺寸大小的去模糊视频帧;最后,为了使生成的视频帧更加清晰,将去模糊分支中学习到的残差图像加到动态滤波器所生成的图像中,作为最终的重建帧。实验结果表明,通过所提网络重建的视频帧不但在空间维度上较清晰,而且在时间维度上具有一致性。