随着我国社会经济的高速发展,汽车保有量日益增多,随之而来的是高涨不下的道路交通安全事故,严重危害人民的生命与财产安全,其中作为交通事故主要诱导因素之一的疲劳驾驶,已成为国内外研究的热点之一。及时检测驾驶员的疲劳状态并且在其疲劳时进行有效干预,能够在很大程度上降低交通安全事故发生的风险。目前通过机器视觉检测驾驶疲劳状态是最具发展前景的手段之一,但是由于复杂的驾驶环境以及驾驶员个体差异等因素的影响,此类方法仍存在不足之处。本文针对以上问题,在领域已有研究基础之上,结合图像识别与生理信号处理技术,提出了一种基于深度学习的信息融合驾驶疲劳状态识别方法,具体研究内容如下:(1)为得到接近真实驾驶的实验数据,搭建了实验数据采集系统,包括模拟驾驶模块与数据采集模块,分别采集模拟驾驶员在疲劳状态下和正常状态下的视频数据和脉搏数据。为了使实验数据更加可靠,实验增设疲劳状态激发环节,有效的激发了模拟驾驶员的疲劳状态。实验选择在校研究生作为数据采集对象,身体状况良好且均无重大病史。最终采集到有效数据疲劳状态下322组,正常状态下403组。(2)针对单一的视频信号源,基于卷积神经网络对所采集数据进行疲劳状态识别。对采集的视频像进行帧读取,将所读取到的帧基于OpenCV识别并提取图像中的人眼部分,做归一化处理并按照网络标准输入修改图片格式,然后基于inception-V3网络模型做迁移学习训练新的网络模型,对每一帧的疲劳状态进行识别,最后经过多次实验对比不同阈值下的识别率得出有效参数,对每10秒的视频做出疲劳判断,最终得到基于视频信号的驾驶疲劳状态识别率。(3)针对单一的脉搏信号源,基于BP神经网络进行疲劳状态识别。首先对信号进行预处理,包括对脉搏信号进行降频重采样,基于db5小波滤波去除脉搏信号的噪声及基线漂移;然后采用自适应差分阈值法对脉搏信号的关键点进行识别,提取了信号的时域频域中的48个特征,最后构建BP神经网络模型进行疲劳状态识别,最终得到基于脉搏信号的驾驶疲劳状态识别率。(4)基于加权平均法的集成学习,决策级融合两种信号源进行驾驶疲劳状态识别。为进一步提升识别精度,对样本数据基于SMOTE算法进行均衡化处理,保证正负样本无偏差。将单一视频信号源识别率做映射处理,并以平均识别率作为各自的权重进行加权平均融合,得到最终信息融合的疲劳状态识别率。对比单一信号源以及算术平均信息融合算法识别率,本文算法具有较高的鲁棒性及识别率上具有一定优势,解决了在实际应用中特殊情况导致某一通道数据采集无效而无法做出疲劳状态判断这一问题。