疲劳一直以来都是造成操控员操作失误的主要原因之一,尤其对于驾驶员来说。因此,研究并开发出一种能够实时地、准确地检测出操控员疲劳状态的检测系统可以作为降低失误甚至事故发生的有效措施。本文通过深度神经网络动态分析相关的面部疲劳特征以对操控员进行疲劳检测,即使用相关的算法根据与疲劳相关的面部局部特征和全局特征判定操控员的疲劳状态,其中将眼睛、嘴部及头部姿势的不同状态定义为局部特征,将整个面部反应的疲劳状态作为全局特征。最后,将眼睛的疲劳状态、嘴部的疲劳状态以及反映疲劳状态的头部姿势结合全局面部的疲劳状态来确定最终的操控员疲劳状态。本研究方案主要从面部检测、特征提取与时间建模以及数据融合进行设计与实验。(1)研究并开发出一种鲁棒性较强的面部检测器来进行面部检测。该检测器由Viola-Jones检测算法和核相关滤波跟踪算法构成。该面部检测器一方面解决了单一面部检测算法存在的头部姿势变化、光照变化、遮挡等情况导致的检测效果不佳的问题,另一方面面部检测算法解决了追踪算法的漂移问题。此外,结合跟踪算法的面部检测器可以减少面部检测次数,进而减少检测所消耗的时间。(2)使用卷积神经网络与长短期记忆网络构建出一种CNN-LSTM网络结构。该网络模型用于空间面部特征的学习以及对学习到的特征进行时间建模,即使用卷积神经网络学习视频帧内的面部特征信息,使用长短期记忆网络学习特征的帧间信息。该网络结构的输入数据为以视频序列为基础的面部帧图像。对网络的训练和测试方式都采用逐步的的方式,每个阶段只关注一个学习任务,以此获得更高的检测效果。(3)为了将局部和全局信息都考虑在内,以提高检测的准确率,本文采用加权均值法综合局部特征数据和全局特征数据来检测驾驶员的疲劳状态。为了验证该检测模型的有效性,与其他方法进行对比分析。实验结果显示,本文所提出的检测方案有效、可行。因为该检测技术是从空间和时间角度来动态分析操控员的疲劳,所以准确率较高,此外,本模型是基于神经网络构建的,一旦训练完成,其计算量较低,检测速度较快。