论文部分内容阅读
零样本学习(零样本图像分类)主要研究利用属性或词向量等额外信息充当语义空间,在训练类别与测试类别没有交集的情况下,如何对测试类样本进行正确分类的问题,以及如何减小由于训练样本和测试样本之间的分布差异导致的领域偏移问题。本文主要围绕基于生成式模型的零样本图像分类展开研究,主要研究内容如下:1.针对零样本学习中图像特征到语义属性映射会发生领域偏移问题,提出了一种自动编码器和类特征原型相结合的生成式零样本学习模型。首先构建图像特征的类特征原型,并作为每个类别的标记,利用核函数构建属性向量核矩阵;其次利用自动编码器对训练类别的类特征原型和属性核矩阵进行模型构建,自动编码器对图像特征进行重构,先编码后解码,两次映射可以减少图像特征与语义属性之间的信息丢失;然后将测试类的属性核矩阵应用到自动编码器模型以生成测试类的类特征原型,再利用测试类的类特征原型附近的K个近邻样本对生成的测试类特征原型进行修正;最后在图像特征空间对修正后类特征原型利用最近邻分类器进行零样本分类。2.针对大多数基于生成式模型的零样本图像分类中没有考虑到生成测试类样本中存在噪声,以及与真实测试类特征分布不一致的问题。提出一种基于条件变分编码器与领域适应的零样本学习模型。首先融合训练类的图像特征和语义属性作为模型的输入,利用变分自动编码器网络来挖掘语义属性与图像特征之间的关系,对输入向量进行重构训练;然后模型训练结束后,把测试类的图像特征初始化为高斯分布,利用变分自动编码器生成测试类的样本;为使训练类和测试类的具有相同特征分布,同时减小生成图像特征噪声,引入了领域自适应方法筛选出与测试类相似的图像特征,进而去除噪声样本;最后利用生成的测试类样本来训练SVM分类器来进行零样本分类。本文分别在AWA1、AWA2、CUB数据集上进行了仿真实验,并对实验结果进行了理论分析和探究思考,证实了本文所提2个模型相比于其它模型具有良好的分类性能。该论文含有图36幅,表8个,参考文献100篇。