论文部分内容阅读
随着互联网技术和云计算的快速发展,越来越多的屏幕图像涌现在互联网中,同时,基于智能终端的多媒体应用的快速发展也加快了屏幕图像数据的产生。与传统图像类似,屏幕图像在采集、传输、存储等环节中会造成数据丢失,产生不同类别的失真。为了获取更好的主观视觉效果,需要设计客观算法对屏幕图像的视觉质量进行评价,同时对屏幕图像处理系统性能进行评价和优化。传统的自然图像视觉质量评价算法相对成熟,而针对屏幕图像的视觉质量评价算法研究才刚开始。由于屏幕图像展示出与自然图像不一样的视觉特性,且自然图像视觉质量评价算法在预测屏幕图像视觉质量时会产生较大的偏差,设计有效的屏幕图像视觉质量评价算法是屏幕图像处理领域亟需解决的问题。
本文针对屏幕图像视觉质量评价问题,进行了系统深入的研究工作,旨在通过研究人类视觉系统的感知特性来提升屏幕图像质量预测精度、视觉特征表达能力和质量评价模型学习效率。本文的研究工作主要通过视觉特征提取、质量评价模型构建和客观实验验证三方面展开。
鉴于屏幕图像主观质量评价方法的高成本、非实时等缺点,我们针对屏幕图像异于自然图像的视觉特性(屏幕图像包含文本区域和图像区域)设计了一个全参考质量评价算法来评价屏幕图像的视觉质量。全参考图像质量评价方法旨在计算原始图像和失真图像的相似信息量或特征相似度,相似信息量越多或特征相似度越高,说明失真图像的视觉质量越接近原始图像。我们针对人类视觉系统对图像结构信息的敏感特性,计算原始屏幕图像和失真屏幕图像在梯度域下的相似性;同时,为了反映人类视觉系统对屏幕图像中不同区域失真的关注度,提出了一种基于高阶导数变化的加权策略,计算屏幕图像的权重图;最后将质量图和权重图融合,以获取屏幕图像的最终质量分数。在标准数据库上的实验结果表明,所提出的全参考屏幕图像质量评价算法相对已有的全参考算法可以获得更好的性能。
在大多数多媒体处理实际系统中,参考图像的信息并不可靠,甚至无法获取。因此,在无参考信息可利用的情况下,设计一个精确、高效的无参考屏幕图像质量评价算法对屏幕图像处理应用具有重要意义。本文针对人类视觉系统对图像结构及方向信息的敏感特性,构建了一个无参考屏幕图像质量评价模型。由于屏幕图像的视觉特征不符合高斯或者类高斯分布,我们针对屏幕图像的这种非自然特性,提出使用直方图表征屏幕图像结构及方向特征。最后,利用机器学习算法对提取的特征向量进行训练学习,预测得到无参考屏幕图像质量分数。算法性能评估结果表明,与现有的算法相比,所提出的无参考质量评价算法可以更精确地预测屏幕图像的视觉质量。
进一步,结合近年来深度学习在多媒体处理领域的巨大成功,本文提出了一种基于双通道深度神经网络的无参考屏幕图像质量评价模型。由于屏幕图像数据比较少,以往的屏幕图像质量评价研究工作很少使用深度神经网络。在本文中,为了增加训练数据集,根据数据库中的图像不确定性等级将图像分成不同的图像对,以此来扩充训练集的数量,减少其对训练结果的影响;进一步,针对训练图像集使用基于深度神经网络的无监督学习框架提取屏幕图像感知特征;最后,通过深度神经网络预测失真屏幕图像的视觉质量分数。实验结果表明,所提出的基于深度神经网络的无参考屏幕图像质量评价算法在预测屏幕图像质量上要优于传统的无参考图像质量评价算法。
本文针对屏幕图像视觉质量评价问题,进行了系统深入的研究工作,旨在通过研究人类视觉系统的感知特性来提升屏幕图像质量预测精度、视觉特征表达能力和质量评价模型学习效率。本文的研究工作主要通过视觉特征提取、质量评价模型构建和客观实验验证三方面展开。
鉴于屏幕图像主观质量评价方法的高成本、非实时等缺点,我们针对屏幕图像异于自然图像的视觉特性(屏幕图像包含文本区域和图像区域)设计了一个全参考质量评价算法来评价屏幕图像的视觉质量。全参考图像质量评价方法旨在计算原始图像和失真图像的相似信息量或特征相似度,相似信息量越多或特征相似度越高,说明失真图像的视觉质量越接近原始图像。我们针对人类视觉系统对图像结构信息的敏感特性,计算原始屏幕图像和失真屏幕图像在梯度域下的相似性;同时,为了反映人类视觉系统对屏幕图像中不同区域失真的关注度,提出了一种基于高阶导数变化的加权策略,计算屏幕图像的权重图;最后将质量图和权重图融合,以获取屏幕图像的最终质量分数。在标准数据库上的实验结果表明,所提出的全参考屏幕图像质量评价算法相对已有的全参考算法可以获得更好的性能。
在大多数多媒体处理实际系统中,参考图像的信息并不可靠,甚至无法获取。因此,在无参考信息可利用的情况下,设计一个精确、高效的无参考屏幕图像质量评价算法对屏幕图像处理应用具有重要意义。本文针对人类视觉系统对图像结构及方向信息的敏感特性,构建了一个无参考屏幕图像质量评价模型。由于屏幕图像的视觉特征不符合高斯或者类高斯分布,我们针对屏幕图像的这种非自然特性,提出使用直方图表征屏幕图像结构及方向特征。最后,利用机器学习算法对提取的特征向量进行训练学习,预测得到无参考屏幕图像质量分数。算法性能评估结果表明,与现有的算法相比,所提出的无参考质量评价算法可以更精确地预测屏幕图像的视觉质量。
进一步,结合近年来深度学习在多媒体处理领域的巨大成功,本文提出了一种基于双通道深度神经网络的无参考屏幕图像质量评价模型。由于屏幕图像数据比较少,以往的屏幕图像质量评价研究工作很少使用深度神经网络。在本文中,为了增加训练数据集,根据数据库中的图像不确定性等级将图像分成不同的图像对,以此来扩充训练集的数量,减少其对训练结果的影响;进一步,针对训练图像集使用基于深度神经网络的无监督学习框架提取屏幕图像感知特征;最后,通过深度神经网络预测失真屏幕图像的视觉质量分数。实验结果表明,所提出的基于深度神经网络的无参考屏幕图像质量评价算法在预测屏幕图像质量上要优于传统的无参考图像质量评价算法。