细粒度图像分类是指对图像所属类别进行更精细化分类,即在大类下进行子类的划分,判断出图像属于某个子类。传统的图像分类主要是对图像进行大类的划分,与此相比,细粒度图像分类最显著的特点是类内差异大、类间差异小,具有很大挑战性,并且由于其在人类的生产生活中具有广泛的应用需求,吸引了广大学者对其展开深入研究。本文首先研究了相关的细粒度图像分类算法,目前大多数算法是依托深度学习技术,通过改变卷积神经网络结构、调整模型参数、优化损失函数、扩充数据集种类等多种方式提升细粒度图像分类准确率。受人类认识事物过程的启发,本文将以扩充数据集种类的方式提升图像分类准确率,对跨域融合的细粒度图像分类模型及其应用展开研究。跨域融合即将图像与文本信息相结合,模拟人类的认知过程,以期提高网络模型的图像分类准确率。细粒度图像分类所需的图像是某一大类下的不同子类的图像,在数据集采集过程中对子类的判别往往需要具备一定的专业知识,图像的获取有一定难度,可以采用小样本学习方法减小在数据采集方面的代价,因此本文将重点在小样本学习方面研究基于跨域融合的细粒度图像分类模型及其应用。论文主要研究工作及成果有如下几方面:(1)提出了一种将图像信息与文本信息相结合的跨域融合机制。通过GloVe算法将文本信息转化为词向量,并对其取均值得到文本向量表示,然后将文本特征向量与图像特征向量相结合生成新的类别原型并通过可学习参数λc调整二者比例,使模型能够自适应地调整对图像和文本信息的依赖性,最后计算查询集样本向量到新的类别原型的距离,并对距离使用softmax函数生成概率分布,得到最终的图像分类结果。(2)基于上述跨域融合机制,构建跨域融合细粒度图像分类模型。为了解决样本数量较少的问题,以小样本学习中的原型网络和任务依赖度量网络为基础构建了ITCD-ProtoNets++(image and text cross-domain prototypical network)和 ITCD-TADAM++(image and text cross-domain TADAM network)两个跨域融合细粒度图像分类模型。(3)为了验证跨域融合细粒度图像分类模型的有效性,在CUB-200-2011和Flowers两个公开的数据集上进行实验。结果表明跨域融合模型能够有效提高基于小样本的细粒度图像分类准确率;然后根据文本信息中包含的语句数量设置对照实验,分析了语句数量对图像分类结果的影响。(4)对本文分类精度较高的ITCD-TADAM++模型进行应用。将跨域融合图像分类模型应用于鸟类识别领域,实现了鸟类识别系统,并且通过应用场景举例对基于跨域融合的图像分类模型进行了应用前景分析。