图像描述(Image Caption)作为一种结合了计算机视觉和自然语言处理的多模态任务受到了广泛地关注。具体来说,图像描述往往先利用卷积神经网络(CNN)对图像特征进行提取,然后将特征注入到被当作解码器的循环神经网络(RNN)中生成描述句子。但是传统的图像描述任务仅关注于如何提升图像特征细粒度和如何增强解码器的表达能力,大多都忽略了输入图像中所蕴含的语义信息。同时,在解码过程中也缺乏单词级别的特征输入和引导机制。为克服上述问题,本文在改进编码-解码框架过程中做出了深入的研究。本文首先从编码端入手,利用目标检测算法确定图像目标,之后探索目标间的交互关系,构建出相应的语义图(Semantic Graph)并用图卷积神经网络(GCN)获取其特征作为图像蕴含的语义信息。此外,在实验过程中本文还发现在大数量的目标之间探索交互关系会导致模型的整体性能下降甚至消失,因此本文还设计了一种有效的目标过滤模块以筛选掉冗余目标,并最终提出基于门控过滤机制的图卷积图像描述模型。其次,本文还深入研究模型解码端,设计出了可以同时引导视觉区域、图像目标和交互关系的新型解码器,通过将其与图卷积编码器和图像区域视觉编码器结合,提出了另一种基于引导的图卷积图像描述模型。最后,本文在MS-COCO数据集上设计对比实验,结果显示本文提出的两个模型较于各自的基础方法NIC及UP-Down在指标BLEU@4上分别提升了28.9%和4.4%,在指标CIDEr上分别提升了20.4%和3.4%且整体性能远超其它对比模型。实验结果也充分证明本文探索图像语义特征及对语义信息进行引导的研究工作可以显著提升描述文本的逻辑性和准确性。