情感分析是人机交互的一个重要领域,既包括直接对用户的人脸进行表情识别,也包括分析用户浏览的多媒体资料,从而间接理解用户的情感。特权信息是在训练阶段可以使用而在测试阶段不可用的额外信息,合理地利用特权信息可以极大地改善传统机器学习的性能。本文重点研究了与情感分析相关的两个问题:人脸表情识别和图像审美评估。本文采用基于特权信息学习的框架,将红外图像用作特权信息辅助训练可见图像的表情识别分类器,将图像属性用作特权信息辅助训练图像美学评估模型。对抗学习是目前无监督学习的主流方法,可以对数据的分布进行有效的建模,同时还具有正则化的效果。本文引入对抗学习的机制,进一步挖掘可见和红外图像、图像美学评分和属性之间的内在联系,为情感分析的研究提供了新的解决思路。综上所述,本文提出基于特权信息学习和对抗学习的情感分析方法,具体的内容如下:1.提出基于标签空间红外增强的表情识别方法。该方法使用基于特权信息学习的框架,将红外图像用作特权信息,辅助训练可见图像的表情识别分类器。具体来说,本文首先训练两个深度神经网络对可见和红外图像提取特征,然后基于学习到的特征训练两个SVM用于表情分类。本文在可见和红外的标签空间添加相似性约束,同时优化两个神经网络和SVM。在训练过程中,红外图像用于辅助学习更好的特征以及表情识别分类器。在MAHNOB Laughter数据库上的实验结果证实了本文提出的方法能够有效地在训练阶段发挥红外图像对可见图像表情识别的辅助作用。2.提出基于特征和标签空间红外增强的表情识别方法。该方法是对第一项研究内容的改进。具体来说,本文设置两个深度神经网络分别用于可见和红外图像的表情识别,并且保留第一项研究内容中提出的标签空间上的相似性约束。本文额外在可见和红外网络的特征空间上引入一个判别器,利用对抗学习的机制学习模态无关的特征。最终,红外图像能同时在特征空间和标签空间对可见网络的学习起到促进作用。在MAHNOB Laughter数据库上的实验结果证实了同时考虑特征和标签空间上的红外增强的有效性。3.提出基于属性辅助的图像审美评估方法。该方法使用基于特权信息学习的框架,将图像属性看作特权信息,用于辅助训练图像美学评分网络。具体来说,本文建立一个基于多任务学习的评分网络,同时对图像的美学评分和属性进行预测。然后,本文引入一个判别器用于区分美学评分和属性的预测值和真实值。通过判别器与评分网络的对抗学习,使得美学评分和属性预测值的联合分布向真实分布逼近。在AADB和AVA数据库上的实验结果证实了提出的方法的有效性。