细粒度图像识别,是一个著名的计算机视觉任务,其目标是识别子类下的辨别性特征,由于不同类别内部具有很大的差异性,不同类别之间具有很大的相似性,这使细粒度图像识别任务增加了难度。现有的方法主要通过视觉的标注信息和基于视觉局部区域定位方法来提取特征,但是这些方法不但对图像数据有大量的标注需求,而且仅仅使用单一视觉模态信息对数据的表示能力有限,无法全面表征物体。因此,为改进上述现有问题,本篇论文提出了利用知识语义信息融合、指导和决策的方法来进行多模态细粒度分类任务。本文通过文本数据和知识库数据等多模态信息设计了一个基于知识注意力机制聚合视觉特征模型,主要从融合、引导和决策三个方面作用于细粒度图像分类。融合是对文本、知识库等多模态数据进行多嵌入语义空间融合和异步注意力方式的视觉知识空间融合。引导是通过提取视觉语义特征并学习融合语义空间的注意力权重映射的表示。知识决策过程是通过计算类别间语义信息的相似度距离以辅助图像分类概率。最后,本文对提出的方法进行了大量实验,在多个公用标准数据集上和最先进的方法进行了比较并取得了最优的效果。本文验证了通过整合多种不同类型外部数据信息,基于知识融合、引导和决策的方式可以有效的在图像模态数据上进行语义补充及表达来增强细粒度图像分类。本文提出的基于知识的方法为细粒度图像分类提供了一种新的研究思路,相信这是一个有趣的路线为细粒度图像分类继续研究。