近年来,我国公共交通得到了快速发展,公交行驶的安全性成为全社会共同关注的问题。为了减少因公交司机人为因素造成的交通事故,保障公交车内所有人员的人身安全,应重视公交司机在驾驶途中的驾驶规范性。目前基于机器视觉的司机安全驾驶行为辅助系统主要集中于精神状态和疲劳驾驶方向,而行车是否安全的另一大要素取决于司机是否出现异常驾驶行为。基于机器视觉对公交司机是否出现异常驾驶行为进行识别,有助于判断其是否专注于驾驶任务,加强公交司机的安全意识,有极高的实用价值和社会意义。因此,本文以公交司机的驾驶行为作为切入点,对异常驾驶行为识别进行研究。本文主要的研究内容如下所示:1.在公交司机驾驶过程中,驾驶行为的执行主体是司机,其人脸和手部为关键部位,运用基于深度学习的目标检测算法YOLOv3和SSD实现人脸与手部的检测,得到了行为执行主体的基本状态。2.本研究将人脸与手部的检测结果进行图像处理,分别定位出人脸与手部质心,以人脸质心为中心表示手部质心所在坐标,提出了基于SSD的脸-手位置网络,准确表示出公交司机人脸与手部之间存在的关系,更加精准地反应了公交司机的基本状态。3.以公交司机接听电话的异常驾驶行为为例,本研究利用关键帧提取该行为的空间特征,通过多帧视频提取该行为的时域特征,得到了公交司机在接听电话的整个过程中手部相对于人脸的运动轨迹,手部停留在人脸周围的位置划分区域和停留时间,同时将该行为中作为执行客体的手机作为辅助特征,结合空间特征、时域特征与辅助特征,构建了接听电话的异常驾驶行为识别模型,经实验验证,该模型具有可行性和有效性。4.构建了公交司机异常驾驶行为的通用模型,并用其他异常驾驶行为进行模型验证,实验结果证明,该模型具有可行性和有效性;最后本研究对该模型在公交场景下的应用进行分析。