视频超分辨率技术对多幅低分辨率输入图像进行运动补偿、信息融合等处理,进而恢复丢失的高频图像细节,重构一幅逼真的高分辨率图像。该技术广泛应用于多媒体通信、视频娱乐、卫星遥感监测和医疗图像分析等领域。视频超分辨率的目标是寻找高效、精准的算法来提升视频质量。目前,基于卷积神经网络的视频超分辨率算法平等地对待运动补偿后的多个视频帧,并且存在图像几何结构畸变、尖锐边缘等问题,导致高频细节丢失,超分出的图像较为模糊。本文主要研究内容如下:本文提出基于一阶时空注意力机制的双分支视频超分辨率网络,给运动补偿后的相邻视频帧分配不同的权重以更好地进行信息融合,并利用梯度信息保持图像结构一致性。该网络由两个分支组成,一个是重建高分辨率图像的图像分支,另一个是生成高分辨率梯度图的梯度分支。图像分支采用一组运动补偿后的低分辨率图像作为输入,并使用时空注意力残差块突出信息丰富的局部区域和关键的时间通道,以恢复丢失的高频细节。梯度分支根据运动补偿后低分辨率图像的梯度图来学习显著的结构信息。这两个分支通过融合不同层次的中间特征相互提供先验知识。最后将梯度分支重构的高频结构信息反馈到图像分支,进一步提高超分辨率视频帧的结构一致性。实验结果表明,该算法可以较好地提高连续视频帧的超分质量。本文提出基于二阶时空注意力机制的双分支视频超分辨率网络,进一步探索如何采用高阶统计信息来学习更具判别力的特征。具体地,利用协方差矩阵来自适应地学习特征间的强依赖关系。此外,引入门控融合节点,通过密集的跳跃连接自适应地融合中间层特征。实验结果表明,采用二阶时空注意力机制能够进一步提升视频帧复原的逼真度。