智能交通系统中的一个关键技术就是开发具有安全、可靠的无人驾驶车辆。交通标志自动识别系统是无人车视觉系统的重要组成部分也是实现的一个难点。本文通过对交通标志自动识别方法的研究，设计了基于无人车的交通标志自动跟踪和识别系统。　　 本文主要研究了自然环境中的交通标志彩色分割、形状检测、跟踪和识别方法。由于交通标志的颜色受光照变化的影响较大，为了达到在不同光照条件下都能正确、高效分割出交通标志的目的，本文提出了结合彩色滤波器和二维快速OTSU的彩色分割方法，提高了分割结果对光照变化的鲁棒性。　　 为进一步将交通标志和其它与交通标志有相同颜色特征的物体区分开，对颜色分割后的图像作形状检测以实现准确定位。为了克服旋转、倾斜等因素对形状特征的影响，本文提出了一种结合最优角点和对称性检测的三角形和矩形检测方法。现场测试表明，这种方法对交通标志的旋转、倾斜有较好的鲁棒性，并实现了对只有部分黄色信息的下陡坡交通标志的形状检测。圆形交通标志由于没有明显的角点特征，本文提出了一种结合边缘拟合和对称中心的检测方法，实现了圆形交通标志的中心定位和半径检测。　　 为了解决车载系统变速运动时Kalman滤波器跟踪不准确的问题，本文利用交通标志的边缘信息提出了一种改进的Kalman跟踪系统。这种方法实现了车载系统变速运动时的准确跟踪并避免了在每一帧图像都对交通标志大小进行预测，提高了跟踪效率。　　 为了提高交通标志的识别准确率，本文采用逐步求精的策略设计了一种基于SVM的多层交通标志识别系统，利用交通标志的形状信息和颜色信息以及CVOG特征，实现了交通标志的分层识别。　　 无人车的现场测试和实际场景中的视频测试表明，系统具有较高的检测、识别准确率并对光照变化和交通标志倾斜具有较好的鲁棒性。