近年来,深度学习算法在图像分类任务上达到了人类级别的分类准确率,使得人们开始尝试将深度学习算法应用到诸如高速公路车辆分类这样的现实场景中去。但实际应用场景下由于存在诸多限制条件,通常难以获取理想的数据集,这就导致了需要大量理想的数据进行训练的深度学习算法表现不佳。本文针对实际应用中两种图像分类问题:类别分布差异较大的非均衡细粒度分类以及缺少训练数据的少样本分类展开深入研究,提出了基于注意力机制的非均衡细粒度分类方法和基于知识图谱的少样本分类方法。针对非均衡的细粒度分类,我们以大铲岛海关的船舶分类任务为具体对象进行研究。在模型的设计上我们首先使用改进的区域提取网络(RPN),在不引入额外的局部区域的标注的情况下,实现对包含具有类别特点的细节的区域进行精确的定位并对区域内的细节质量进行评估。从含有高质量细节的区域提取局部细节特征,将这些局部特征与全局特征一起送入我们设计的具有自适应平衡类别数据分布功能的推理结构中。推理结构由记忆网络和推理网络组成。记忆网络会保留模型认为难以学习的困难样例,在学习新样例时,提供与新样例相似的困难样例,一起送入推理网络。推理网络利用注意力机制捕捉样例之间的相似之处,并用困难样例的特征对新样例的特征进行优化,在学习新样例的同时改善对困难样例的学习。在研究过程中我们还建立了一个船舶的图像数据集。据我们了解该数据集不仅是第一个针对船舶的细粒度分类数据集而且也是第一个类别分布不均衡的细粒度分类数据集。针对少样本分类,我们利用知识图谱强大的知识表达以及信息融合能力,实现更加准确的分类。将传统的度量学习和知识图谱相结合,提出了基于知识图谱的少样本分类方法。将少样本分类问题转化为知识图谱构建的问题,利用知识图谱中基本要素(实体)之间的关系预测数据的类别。在知识图谱的构建过程中最为关键的属性抽取和知识融合阶段,我们分别设计了结合自我注意力机制和度量学习的属性特征提取网络以及基于边度量学习的图神经网络。前者用于提取实体特有的属性特征,后者则是利用度量学习网络去学习构建图中节点之间的边的特征,并利用边的特征预测数据的类别。