论文部分内容阅读
深海视频技术随着科技的发展已经有了长足进步,深海视频在海洋矿产资源开发、海洋生物生态研究以及深海目标对象探测与跟踪等方面起着重要作用。尽管目前国内外对视频质量评价的研究已比较成熟,然而深海视频环境不同于陆地自然视频环境,传统的视频质量主观评价方法不适用于水下视频质量主观评价。针对深海视频特性和视频质量主观评价的缺点,设计专门应用于深海视频的质量主观评价方法仍是亟待解决的问题。深海环境与自然环境相比更加复杂,除了其特殊的成像条件之外,拍摄深海视频对拍摄设备要求也十分严格,因此深海视频质量评价工作较为稀少,缺少公开的深海视频质量评价数据集。此外,视频质量主观评价不同于视频质量客观评价,其需要大量主观评价人员参与,且评价实验过程复杂,要耗费大量的人力和物力。由此,本文在充分考虑深海视频特点的基础上,构建了面向深海探测的视频质量评价数据集,同时利用主动学习技术,在主观评价中结合客观评价信息,提出主客观信息驱动的主动学习视频质量评价方法。经深海视频数据集上验证表明,使用该方法能够一定程度上节约主观评价时间并且同时提高客观质量评价模型的泛化性能,降低传统的视频质量主观评价实验成本。主要研究内容如下:(1)构建面向深海探测的深海视频质量评价数据集。考虑深海视频背景单一、画面冗余度高以及画面清晰度不足等问题,通过两种水下图像质量增强方法和两种感兴趣区域的图像质量退化方法对原始深海视频进行处理,扩充了深海视频质量数据集的数量和质量范围。同时设计并实施了传统视频质量主观评价实验,获得了准确的深海视频质量标签。随后在该深海视频质量评价数据集上验证了多个包括水下和陆地自然视频(或图像)的主流质量客观评价模型,通过计算客观质量评价模型的结果与主观分数的相关系数,显示当前客观评价模型的性能最高达到0.67,在深海视频质量评价方面还有很大的上升空间。最后分析了增强视频和退化视频的主观评价分数相对于原始视频主观评价分数的一致性,结果显示由水下图像增强模型增强的深海视频与主观分数的一致性较差。这表明根据水下图像评价模型优选的质量增强模型并不能有效增强深海视频,这也侧面证明了当前的水下图像质量评价基准并不适用于深海视频。所以本研究提出的深海视频质量评价数据集对于建立有效的深海视频质量评价基准是极为重要,有利于推动深海视频质量客观评价模型的发展。(2)提出主客观信息驱动的主动学习视频质量评价方法。为了解决传统视频质量主观评价过程耗时长、成本高等缺点,本文提出基于主动学习的动态迭代式质量评价方法。该方法在人工主观质量评价过程中,结合双客观质量评价模型的预测信息与主观评价结果,根据评价不确定性设计了两种主动学习的查询策略,在每轮迭代中筛选最具标注价值的样本进行人工评价,而价值较低的样本(冗余数据)则由客观模型进行标注的方法,降低视频质量主观评价的标注成本,并在主观评价结束时能够得到一个训练好的客观评价模型。考虑到机器学习客观评价模型对特征的依赖性,本文从从众多视频/图像质量特征中挑选出一批多角度、高效人工特征,包括视频编码特征、视频运动特征、视频内容频域特征以及视频画面自然统计特征。最后,分别在四个不同的视频数据集上对该方法进行了验证,结果显示该方法对于存在冗余数据的数据集能够节省大约20%的人工标注工作量,并且有效提高客观模型的泛化性能。(3)将主客观信息驱动的主动学习视频质量评价方法在深海视频质量评价数据集进行验证。一方面,在训练集上使用主客观信息驱动的视频质量主观评价方法进行模拟实验,结果表明该方法对于客观质量评价模型的训练没有起到明显的加速作用,说明本文构建的深海视频数据集并不存在过多的冗余,符合该数据集的设计目的。另一方面,在验证集上,通过主客观信息驱动的主动学习视频质量评价方法得到的客观评价模型精度达到0.7518,比随机策略训练的客观模型以及其他主流视频质量客观评价模型在该深海数据集上的模型精度提高了大约8%,说明本文方法利用深海视频数据集获得了泛化性能更好的客观质量评价模型。视频质量主观评价实验是进行视频质量客观评价和视频自动化质量控制的前提和基础,但其耗时长、工作量大和成本高的缺点也十分明显。同时,深海视频的特殊性也给深海视频质量主观评价任务增加了难度。在构建面向深海探测的深海视频质量数据集之后,通过提出的主客观信息驱动的主动学习视频质量主观评价方法,能够一定程度上减少视频质量主观评价的工作量,降低主观实验复杂度,并且能够提高模型的泛化性能。