自动情感识别技术在各种智能系统中的应用具有很大潜力,包括智慧教育、在线游戏、智慧医疗等。由于深度学习方法的出现,自动情感识别技术经历了由基于手工浅层特征的传统识别方法发展为基于深度神经网络算法,由基于单一模态的分类器发展为基于多模态聚合的情感识别的过程。其中最常使用的模态是通过视频数据获取的语音-视觉双模态,目前关于语音-视觉情感识别的大多数文献由于从这两个模态提取特征的方法和多模态聚合的方法存在不足导致识别准确率较低。本文旨在于通过深度学习方法来缓解这两个问题,提出一种基于深度网络来提取特征和深层次模态聚合的视频情感识别系统。通过深度学习特征来弥合低层次手工特征与人类情感之间存在的鸿沟,通过深度网络提供的深层次多模态聚合方法来对具有不同统计属性的高度非线性相关关系的多个输入模态联合建模,论文的主要工作如下:针对语音模态情感识别的环境失配问题,本文提出了基于深度时空网络和多任务学习的两阶段语音情感识别方案,并仿真验证了所提方法的有效性。该方法通过基于长短期记忆网络的语音增强模块来降低环境噪声对语音情感特征的扭曲,提升了低信噪比条件下系统的鲁棒性。对增强后的语音信号提取MFCC特征谱,通过滑动窗口在MFCC谱上采样送入CNN-LSTM深度时空网络提取序列级特征表示用于情感分类。利用性别区分与情感识别任务之间的相关性,CNN-LSTM深度时空网络同时进行性别区分和情感识别的多任务学习,进一步提升了系统的性能。针对视频中的视觉模态特征提取不充分的问题,本文提出了基于多局部特征和深度神经网络的视频情感识别方案。除了卷积神经网络提取的图像特征表示,还使用了关注物体结构信息的HOG特征、关注动态几何信息的人脸关键点轨迹特征,并提出了基于人脸关键点定位的眨眼相关特征,包括眨眼频率、眨眼间隔及眼睛闭合时长相关的共七种特征统计值。相较于直接使用单一的图像的CNN特征,这样更充分的挖掘了视频序列中蕴含的视觉情感信息。针对人脸关键点轨迹特征本文提出了一种二维编码方案将其转换成类似图像的特征矩阵。网络结构方面,本文提出了基于Inception多尺度卷积核并行的深度网络结构,可以更好融合不同尺度的特征,有机结合全局的抽象特征和局部的细节特征,进一步提高了系统的识别率。针对语音和视觉模态的多种特征、分类器的聚合问题,利用深度网络对多种输入数据之间高度非线性相关关系的联合建模的能力,本文提出了基于深度置信网络的深层次聚合方案,相较于浅层聚合提升了多模态聚合的性能。本文讨论了六种决策层聚合策略,并设计了使用全连接网络和DBN网络作为聚合网络的两种深度网络特征层聚合方案。通过对八种聚合方法进行实验比较,深度聚合方法由于其对多个输入之间高度非线性相关关系的联合建模能力而取得了明显的性能优势,DBN网络由于其中RBM可以学习语音-视觉数据的联合概率分布的能力而取得了最好的聚合效果。综上所述,本文通过深度学习方法缓解了语音-视觉情感识别中的两个常见问题,提出了一种基于深度网络来提取特征和深层次模态聚合的视频情感识别系统,取得了较为满意的识别准确率。在本文的最后指出了上述算法的待改进之处,并列出了可供进一步拓展的方向。