近些年,网约车的普及极大的方便了人们的出行,但是普及的同时司机也出现了越来越多的违规驾驶行为。出租车作为网约车中的一个重要组成部分,对出租车司机违规行为实现自动化实时检测可以有效降低由交通事故带来的经济损失,同时对出租车运营管理、文明城市的建设也有着极为重要的意义。当前在针对出租车司机违规行为检测的研究中,多数研究是基于传感器和机器视觉方式进行的,但在实际应用中,场景限制和算法检测速度可能导致检测困难、检测实时性低等问题,无法达到司机违规行为准确实时的检测要求。本文首先利用目标检测算法检测司机是否携带违规目标（手机、烟头）,然后联合轨迹追踪算法对目标实现轨迹追踪,通过判定目标轨迹与司机关键部位轨迹之间的关系,最终实现出租车司机的违规行为检测。本文的工作主要体现在以下几个方面:1.建立出租车司机违规行为检测数据集。通过对交通场景中违规行为的调研,发现驾驶员在行车过程中存在各种各样的违规行为,依托该种情况仔细调研了国家相关政策,本文最终将研究重点聚焦于出租车场景中司机使用手机和抽烟两种违规行为的检测,并依照VOC2007数据格式建立出租车司机违规行为检测数据集。2.基于YOLOv4算法实现目标检测并对模型进行优化。通过迁移学习对比目前主流的目标检测算法在本文数据集中的表现,最终选择YOLOv4目标检测算法。并针对YOLOv4算法将方向盘和收款二维码误检为手机的问题采取Anchor box优化和损失函数优化办法,使目标检测精度提升了2.13%。为了使算法可以更好的应用在移动设备中,结合YOLOv4-Tiny网络特点,采取网络轻量化的方法来提升模型的检测速度,优化后的模型在本文数据集上每秒可以多检测226张照片。3.融合YOLOv4检测与目标追踪算法对出租车司机违规行为检测。在分析目标检测结果集中发现,存在部分图像数据中含有目标但司机并没有对应行为的情况,从而导致了司机违规行为检测时误报率较高的情况。由此本文提出了一种目标检测与目标追踪相结合的方式,将目标追踪算法应用于检测到的目标物体上,对目标物体与司机关键部位同时进行轨迹追踪,有效降低对出租车司机违规行为检测中的误报率。实验结果表明加入目标追踪算法后将出租车司机违规行为检测精度有效提高到了96%以上。