论文部分内容阅读
图像美学质量评估是计算机视觉领域热点研究问题,并且极具应用前景,可与众多实际应用深度结合。众多相关工作将其定义为分类问题,使用"高质量"、"低质量"标签描述图片美学质量,结合美学特征和分类标签学习分类模型。由于分类标签为粗粒度表达形式,实用性低,因此本文提出研究细粒度的美学质量相对排序。尽管相关工作提出的分类模型以及回归模型亦可解决美学排序任务,但是其仅利用图片绝对美学质量,而非相对排序关系,因而其排序性能较差。一些工作提出基于列排序的方案进行排序预测,然而其训练过程中:1)利用所有可能的排序关系,但是内容差异大的图片间比较却并不合理;2)提取预定义特征为美学特征,然而此特征无法充分描述图像美学属性。针对以上问题,本文首先提出基于图片对的美学排序方案,在训练集中构造图片对反映排序关系,以此为样本训练排序预测模型,且为去除噪声提升质量,应用合理图片对筛选策略对样本进过滤。为进一步提升样本质量,本文提出基于图像检索的图片对构造策略,首先搭建一基于内容的图像检索系统,利用图像检索返回视觉内容相似图片,在此范围内,依据特定生成准则,将查询图片与相似图片构成图片对。为摆脱预定义美学特征的限制,本文提出基于深度学习的美学排序方案,搭建双通道卷积神经网络并设计相应排序损失层,以图片对为输入,以排序关系为目标优化网络权值参数。测试过程中,排序模型计算并输出图片的相对美学排序得分,并以此进行排序,而得分的绝对值大小并无意义。为验证所提出方案的有效性,本文在两个大型公开数据集CUHKPQ和AVA进行美学排序实验,并与其他各方案进行对比,而实验结果则印证了所提出方案在美学排序任务上的优越性。