论文部分内容阅读
随着智能手机的发展,图像多帧融合技术日益广泛地应用在高动态范围成像、多帧降噪、图像超分辨等智能手机图像处理中。手机图像配准是手机图像多帧融合算法的必备模块,图像配准的准确程度也直接影响到多帧融合算法的效果。因此,开展对手机图像配准数据集构建及算法的针对性研究具有重要意义。手机拍摄图像多为自然场景,在图像配准算法设计中必须要考虑可能出现的前景运动、多平面场景等因素,同时对配准算法的实时性要求较高。因此,针对手机图像配准技术的研究必须结合智能手机常用拍摄场景,在提升配准准确率的同时合理控制运行时间、内存空间等开销。传统的图像全局配准算法在原理上受到限制,不能准确地配准多平面的场景或运动物体;基于稠密光流的局部配准方法不受单一变换矩阵的限制,可以获得较好的配准结果,但计算开销大,难以实现实时估计。近年来出现的基于深度学习的稠密光流算法在公开测试集上取得了超过传统光流算法的效果,并且实时性好。本文在此基础上,提出了一种基于深度学习的光流算法来预测稠密光流并用于配准,同时又提出了一种用于网络监督学习的自建光流数据集以提升算法性能。论文首先介绍了图像配准的背景与意义、配准相关的国内外研究现状,总结了传统基于区域信息和特征信息的图像配准算法、基于光流的图像配准算法和基于深度学习的光流算法等,通过实验比较了块匹配和基于特征的图像配准算法等几种最常用的传统图像配准算法的优缺点。论文采用稠密光流进行图像配准。传统的图像配准算法有配准时间太长或由于是全局变换而无法处理有运动物体等缺点,本文提出基于光流的配准算法来解决这些问题。论文首先介绍了光流计算方法,包括算法原理和光流可视化等;然后提出了利用光流进行配准的算法,包括利用光流进行图像映射、去除光流映射过程中的留白和鬼影等;最后将光流配准算法与传统算法进行了实验比较,实验结果显示所提算法能有效提升配准效果。论文提出了基于深度学习改进的光流配准算法及数据集构建方法。首先选择合适的网络结构,采取适当的优化方法,然后构造一个包含手机图像中常见的各种场景以及模拟像质退化过程的的光流数据集进行训练;最后本文进行了大量实验,实验结果表明所提方法能有效提高图像配准的准确性。本文提出并构建的数据集FlyingThings2D对光流网络预测的光流精度和鲁棒性有明显的提升,使得基于深度学习预测光流的配准算法相较于传统基于梯度的光流配准算法时间开销更小且精度更高。