现有很多基于深度学习的方法在约束环境下表情数据集上具有很好的识别性能,然而,真实环境下的人脸表情识别仍然面临着很大的挑战。这个挑战主要来源于三个方面:一是采集差异,二是表达差异,三是识别难度差异。现有工作大多关注于解决前两个问题,如,通过采用合适的预处理(人脸校准、直方图均衡化等方式)来缓解采集差异问题,采用网络集成策略来解决表达差异问题等。针对已有网络集成策略中存在的效率低下问题,本文首先提出一种自动实现的网络选择方法,用于从多个候选网络中选出能使集成性能互补的最优网络集合。为了解决识别难度差异问题,本文利用最优网络集合的验证结果确定数据集中的复杂表情类别。接下来,为了改善复杂表情类别的识别准确率,本文提出了一种用于动态收集复杂表情样本的网络迭代训练方法。实验结果表明,迭代训练方法不仅缓解了数据不平衡问题,而且显著提高了网络对复杂表情类别的识别准确率。因此,改善了平均识别性能。考虑到表情识别是一个细粒度的分类问题,本文认为注意力机制能帮助进一步改善识别性能。因此,基于迭代训练阶段更新后的训练数据集,本文进一步探索了注意力机制对表情识别性能的影响。本文提出了一个面向人脸表情的注意力模块,该模块中包含一个无任何可训练参数的通道注意力单元和有轻量级参数的空间注意力单元。实验结果表明,与最新的注意力模块相比,本文提出的注意力模块更适用于真实环境下人脸表情识别问题。最后,本文也通过可视化实验分析了提出的注意力模块在表情识别中所起的作用。