疲劳驾驶会显著降低驾驶员的警惕性,增加反应时间,严重危害道路安全,现和超载、超速并列为交通事故三大成因。针对疲劳驾驶易造成交通事故频发的现状,本文将卷积神经网络应用到疲劳驾驶的状态识别领域,主要研究内容如下:首先,采用多任务级联框架(Multitask Cascaded Convolutional Networks,MTCNN)同时完成人脸检测和人脸对齐,以由粗糙检测到精细提取的方式提高其性能。为进一步提高检测准确率,降低驾驶员的姿势变化以及无约束环境中照明和遮挡等因素的影响,对MTCNN进行改进,优化三个子网络之一O-Net的网络参数。实验结果表明,在特征点损失仅少量增加的前提下,准确率从97.26%增长到98.83%,提升了1.57个百分点。其次,提出一种基于Eye and Mouth-CNN(EM-CNN)的眼嘴多状态识别网络。由于检测信息少会对驾驶员多姿态人脸的区域造成误判,因此对驾驶员的双眼和嘴巴状态进行识别。为减少光照变化、坐姿差异以及眼镜遮挡等因素的影响,提高对复杂环境的适应性,采集真实驾驶环境中的4000张驾驶员图片进行预训练。实验结果表明EM-CNN的平均准确率达到93.62%,敏感度达到93.64%,特异性达到60.88%,高于AlexNet、VGG-16、GoogLeNet、和ResNet50等传统的检测方法。采用Adam优化算法时EM-CNN的准确率、精确率、召回率和F分数均达到94%以上。同时EM-CNN对嘴部状态分类的平均Area Under Curve(AUC)值为99.8%,准确率优于眼睛。最后,提出PERCLOS与POM指标融合的疲劳驾驶判定模型。通过采集13名驾驶员在真实行车环境中的视频并将视频流转换成帧图像进行测试。实验结果表明,当PERCLOS达到0.25,POM达到0.5时,可判断驾驶员处于疲劳状态。