情感交互在人机自然交互的研究中受到了很大的重视,而情感识别是情感交互中尤为重要的关键。情感可以通过很多种方式表达,现阶段的情感识别研究中,主要是人脸表情情感识别、语音情感识别和身体姿态情感识别等单模态情感识别。心理学研究结果表明,当人们对人类的交际行为做出判断时,相比其他任何通道更多地依赖面部和姿态组合成的视觉通道。所以研究基于面部表情和身体姿态的双模态情感识别具有重要的现实意义。本文研究基于深度学习的面部表情和身体姿态两种模态在情感识别方面的应用,主要工作内容如下:(1)因为传统方法存在复杂的人工设计特征以及提取特征的过程,所以采取了基于深度学习的面部表情情感识别方法。首先,对CaffeNet进行改进,提出了一种基于改进的CaffeNet的面部表情情感识别方法;然后,考虑到数量较小的数据样本也能利用深层卷积神经网络获得相对较好的识别效果,研究了一种基于VGG-16网络微调模型的面部表情识别方法;最后,因为本文研究的数据是视频样本,其面部表情的变化具有时间相关性,所以研究了一种基于卷积神经网络和长短期记忆网络的面部表情情感识别方法。(2)为了更准确地识别身体姿态单模态情感,本文研究了一种基于三维卷积神经网络的身体姿态情感识别方法。视频片段作为一种时空序列,在时间上具有很强的相关性,基于三维卷积神经网络具有对视频帧序列提取特征的优点,把身体姿态的视频样本截取的视频帧序列输入到不同的三维卷积神经网络中,以完成身体姿态情感的分类。(3)以面部表情和身体姿态两个模态为研究对象,分析了基于加权求和的决策层融合算法和比较了典型相关分析、核典型相关分析、多类核典型分析的特征层融合算法。选用支持向量机对两个模态融合后的特征进行分类,本文选用面部表情和身体姿态的双模态情感视频数据库(FABO)进行实验验证。实验结果表明,采取恰当的融合方法得到的双模态情感识别的准确率比单模态情感识别的准确率提高了大概4%~5%。