随着现代交通发展进程的推进,公路上行驶的机动车越来越多,民众出行愈发便利,与此同时,也带来了一系列道路安全问题。这些安全问题主要集中在驾驶员的疏忽大意与过于自信上,其诱因往往是驾驶员的不安全驾驶行为。交通运输部与四川省交通运输厅分别在2018年与2019年出台了较为详细的道路视频监控规范,其中交通运输部的规范强调了道路视频监控系统应当包含对驾驶员驾驶行为的监测;四川省交通运输厅的规范则更侧重于主动安全方面终端设备与通讯协议的具体测试指标。全国各省出台符合当地情况的详细规范已是大势所趋,本文参考了已出台了两个权威规范,从主动安全的角度出发,通过研究对驾驶员不安全行为的自动识别与报警,规范驾驶员的行为,并降低其出行风险。本文设计了一个实际应用场景下的识别系统,其系统实现包含算法分析模块、结果反馈模块与数据管理模块三个部分。其中算法分析模块负责自动识别与报警;结果反馈模块用于对自动识别的结果进行人工校正与反馈,并用于算法分析模块的迭代增量学习,推进产品更新;数据管理模块用于对所有数据进行管理,并生成统计表格。最终初步实现了一个可供使用的系统demo版本,以展示相关功能。本文根据工程需求确认了五粮液监控视频数据这一研究对象的数据集构成方式,将数据分为训练集、验证集、测试集A与测试集B。训练集、验证集与测试集A是对同一样本采样的划分,同属于数据集A,采用了本文提出的基于内容的关键帧提取算法,适合训练数据;测试集B采用了另一种更贴近实际数据的关键帧随机采样方式,为数据集B。由预处理模块对视频进行预处理,生成单帧或者帧序列;目标检测子系统对图像数据提取人脸区域、相关物体区域以及特殊区域的定位信息;分类识别子系统将此信息进行特征融合,并使用单帧模型(实时版本)或时序模型(非实时版本)输出结果。最终对于打电话、抽烟、不系安全带三种行为,实时版本分别在数据集A与数据集B上达到了99.56%、99.13%、98.77%(测试集A)与66.74%、63.88%、63.85%(测试集B)的准确率;非实时版本分别在数据集A与数据集B上达到了99.81%、99.55%、98.45%(测试集A)与70.06%、67.43%、70.15%(测试集B)的准确率。实时版本同时在Egypt数据测试集上取得了95.96%的测试准确率,与业界最佳模型的96.31%相当,说明本设计具有一定泛化能力。