随着科学技术的不断发展,人类社会已步入人工智能时代。当前,人工智能的发展已从机器智能发展到感知智能,并逐步迈向认知智能。人机交互作为认知智能的一种表现方式,离不开情感识别技术的支持。以往的情感识别技术大多是建立在单一模态的基础上,识别率低、鲁棒性差,因此,越来越多的研究集中在多模态情感识别上。多模态情感识别有两大关键问题,其一在于如何提取出有区别的情感特征,其二在于如何进行不同模态信息的有效融合。因此,本文的主要工作是通过提取得到有区别的情感特征,并且对不同模态情感信息进行融合来研究多模态情感识别。本文使用Multimodal数据库和RAMAS数据库进行表情、语音和姿态的多模态情感识别研究。首先对两个数据库中的视听数据进行预处理。针对表情模态数据,首先截取视频序列中的人脸部分,并等间隔选取关键帧,构成表情图像序列;针对语音模态数据,首先在视频数据中提取音频信息,并对其进行等时长切分,最后将音频信息转换为语谱图序列;针对姿态模态数据,对原始数据等间隔选取关键帧,构成姿态特征序列。将以上三种模态数据作为情感研究依据,研究单模态情感特征提取以及多模态情感特征融合,本文主要研究内容如下:（1）提出了一种基于不对称非局部和高效信道注意的时空神经网络,该网络用于提取深度情感特征。由于数据库中的姿态为人体骨骼点数据,与其余模态数据格式不同,无法输入网络,因此仅将表情、语音数据作为网络的输入。在网络中主要包括三个模块:第一个模块为不对称非局部模块,用于捕获长序列依赖关系;第二个模块为高效信道注意模块,在不降维的情况下实现局部跨信道交互,增强情感特征的非线性表达能力;第三个模块为时空LSTM模块,用于更好地学习情感特征的空间相关性以及情感特征序列的时间相关性,促进时空之间的信息交互。整个网络以端到端的方式进行训练,用于提取深度情感特征。（2）为了使单个模态之间的特征能够更好地融合形成有区别的情感特征表示,本文提出了一种基于不对称非局部和DBN的多层次多阶段融合网络,用于捕获不同模态之间的相关性以及差异性。第一阶段将表情、语音和姿态三种模态两两组合,在每一组中,将其中一种模态特征作为主导特征,另一种作为辅助特征,同时输入至不对称非局部模块中,利用该模块寻找辅助特征中有利于主导特征的情感信息,以此获得具有模态之间相关性的融合特征;第二阶段将一阶段获得的三组融合特征与原始三种模态特征一同输入至DBN融合网络中,得到具有各模态差异性的融合特征,该网络通过自下而上的无监督训练,执行误差反向传播来实现全局优化,加强融合特征的非线性表达能力,最后使用softmax方法完成情感分类。实验表明,使用基于不对称非局部和高效信道注意的时空神经网络能够提取到有区别的情感特征,使用基于不对称非局部和DBN的多层次多阶段融合网络能够有效地融合多模态情感信息,提升了情感识别的效果。