论文部分内容阅读
随着互联网的发展和网购潮流的兴起,网络平台上服装图像的数量急剧增长。面对服装多样性的发展,人们已经不能再用简单的关键字对服装的种类、风格进行概括,且不同的用户对同一件服装的描述也不尽相同。因此,传统的基于文本的服装图像检索方法,已不再能满足用户的检索需求。如何帮助用户快速准确的找到心仪的服装是图像检索领域面临的重大挑战。因此,基于内容的服装图像检索方法成为了一个热门研究课题。近年来,深度学习的方法不断应用在图像处理领域,并取得了良好的性能。本文研究了基于深度学习的服装图像检索方法,主要完成了以下工作:提出了一种基于人体姿态感知的服装图像检索方法。由于服装的高形变性,目标检测的方法无法定位服装图像的部件区域,从而无法提取服装图像重要的局部特征。针对这一问题,对服装图像进行人体姿态估计,利用关节点的位置信息得到服装的衣领、衣袖、纽扣等部件区域。同时,服装图像通过卷积神经网络得到图像的全局特征,将服装部件区域映射到全局特征上得到图像的局部特征。最后,将局部特征和全局特征进行串联作为输入图像的最终特征进行服装图像检索。实验结果表明,该方法提高了服装图像检索的准确率。提出了一种基于视觉语义联合嵌入的服装图像检索方法。该方法主要针对属性反馈的服装图像检索这一应用场景,对服装图像上的属性信息进行修改。通过视觉语义联合嵌入模型,将服装图像和与之对应的文本属性分别通过图像嵌入矩阵和属性嵌入矩阵映射到联合嵌入空间。对属性反馈检索进行建模,将需要查询的图像特征与需要修改的属性特征在联合映射空间进行相加,与该特征相似性最高的图像特征所对应的服装图像就是检索图像。实验结果证明,视觉语义联合嵌入的方法可以有效的进行属性反馈的服装图像检索。提出了一种基于服装属性空间感知的图像检索方法。针对如何提取服装属性所对应的局部特征这一难题,在视觉语义联合空间内对服装属性进行建模,学习图像位置和服装属性在联合空间内的对应关系。该对应关系表达了服装属性在图像点出现的可能性,是服装属性的空间感知能力。对空间感知结果设置阈值,得到不同属性所对应的图像局部区域。通过卷积神经网络得到服装图像的全局特征,将服装属性区域映射到全局特征中获得对应属性的局部特征。最后,连接局部特征与全局特征,用该特征进行服装图像的检索。实验结果表明,该方法可以自主的学习不同属性所对应的图像区域,提高了服装图像检索的正确率。