人脸表情识别是人脸属性研究的重要领域之一,人脸表情识别的成果已经广泛应用于商业分析、安全驾驶、在线教育、智慧医疗等领域。因此,人脸表情识别的研究具有重大的意义。但是,传统的人脸表情识别算法需要手工设计特征提取方法,这导致特征的代表性不够、模型泛化能力差。其次,基于深度学习的人脸表情识别算法则主要提取图像的深层特征而忽略了图像的浅层特征和中层特征。而且,目前的表情识别数据集大部分是小型数据集,不足以支持训练大型卷积神经网络。为解决传统人脸表情识别算法的特征代表性不够,以及数据集小的问题,论文提出了基于迁移学习的人脸表情识别算法。根据迁移学习的理论以及相关的经验,论文将在Image Net数据集上预训练的Inception V3和Res Net50模型迁移到新的数据集KDEF和Ra FD,并搭建分类层构成新的网络模型。确定初次的学习率、优化器、数据预处理方式、模型训练方式后,根据实验结果修改参数得到不同的模型。通过实验结果分析找到当前数据集中准确率最高的模型。KDEF数据集中准确率最高的模型是KI21A121,准确率是93.77%,Ra FD数据集中准确率最高的模型是RI21A121,准确率是98.98%。为解决论文提出的基于迁移学习的人脸表情识别算法不具备提取图像浅层特征和中层特征的能力的问题,论文提出了基于迁移学习和特征融合的人脸表情识别算法。论文取在Image Net数据集上预训练的Inception V3或Res Net50模型的不同的层进行融合后,得到最终的特征提取层,与两层的全连接分类层组成融合后的新模型。融合后的Inception V3模型和Res Net50模型,在KDEF、Ra FD数据集的实验结果表明:融合后的模型的准确率高于融合前的模型准确率。融合后的模型KI20AFFF2在KDEF数据集上的准确率为94.48%,RI21AFF3在Ra FD数据集上的准确率为99.09%。最后,使用模型KI20AFFF2和RI21AFF3对KDEF、Ra FD数据集中随机抽取的图像进行识别,多次识别结果均正确,模型RI21AFF3的泛化能力优于KI20AFFF2。所以,使用RI21AFF3对真实人脸进行识别,多次识别结果均正确。