随着数据时代和信息时代的到来。信息和数据越来越成为社会经济发展和人们生活提高的重要推动力。而检索作为高效获取信息方法就显得尤为重要。跨模态检索作为获取跨模态信息的重要方法,社会价值巨大,自然引起越来越多人的关注和研究。随着深度学习和人工智能的发展,跨模态检索也取得了长足发展。其中目标检测和图卷积相结合的深度学习方法越来越引起人们的注意,成为跨模态检索中的一个重要研究方向。本文同样关注这一方向,并且从以下三个方面在该方向上进行了研究。一、开发多层图卷积中不同层的学习能力,提升多层图卷积的学习能力。在跨模态检索中图卷积的应用往往是连续多层的,这样相比单层可以起到更好的效果。但是以往只使用了最后一层图卷积的输出结果,而没有对多层图卷积其它层进行立体的开发。本文利用跳跃的设计模式,将中间层跳跃过后面的图卷积直接进入下面流程,来实现对多层图卷积不同层的灵活控制,使得能够对不同层进行不同程度的学习和开发。结果表明本文的方法可以整体提升图卷积的特征学习能力,提升跨模态检索的效果。二、通过多粒度文本特征学习来提高文本部分的特征学习能力。在以往的跨模态检索中,文本部分的特征学习都是使用简单的循环神经网络GRU来完成。这样的文本特征学习方式太过简单,无法充分学习到文本信息。我们采用多粒度文本特征学习来代替GRU。通过多粒度文本特征学习,文本特征学习部分的学习能力得到增强,文本部分可以学到丰富的多种粒度的文本信息,能够将文本中的信息充分学习到。结果表明多粒度文本特征学习增强了文本特征学习能力后提高了检索的抗干扰性,当检索的数据量变大时,检索效果下降的会相对较少。三、通过混合检索来提升整体检索效果。以往的跨模态检索都是在算法中构建一个检索模型,用一个检索模型的检索能力来进行检索。受混合推荐算法的启发。我们在一个算法框架中构建两个检索模型,让两个检索模型同时起作用,通过一定方式将这两个检索模型整合在一起,使用两个检索模型整体的检索能力来进行检索。由于每个检索模型都有一定的检索能力,当这些模型叠加在一起时,检索能力会相互增强,得到的整体检索效果也就更好。当两个模型的特征向量在特征空间中的态势一致性较高时,增强的效果就会更加明显。由于是两个检索模型共同起作用,因此抗干扰性会增强,当检索的数据规模变大时,检索效果下降的会更少一些。本文集中从多层图卷积中间层使用、多粒度文本特征学习、混合检索三个方面对目标检测和图卷积相结合的跨模态检索算法进行了立体研究,并且实验证明本文的改进方法和理论创新都在一定程度上提升了检索效果。