铁路运输是我国交通运输领域的重要组成部分，近年来，随着科学技术的快速发展，列车多次提速，行车密度不断加大，如何保障铁路安全运输成了人们一直关注的问题。为了降低了铁路交通事故的发生率，基于图像处理和计算机视觉的人工智能技术受到广泛的关注并逐渐应用于铁路运输。为了提高铁路跟踪的稳定性从而保证铁路运输的安全性，本研究提出了一种基于红外图像灰度直方图相似性的多模板加权自适应更新相关跟踪技术。由于红外图像是灰度图像且图像间的空间相关性强，所以图像上相邻区域灰度分布的相似度高，因此可以通过红外图像灰度直方图的相似度来确定跟踪目标区域。此外，机车在运动的过程中，背景环境不断变化，本文采用的多模板加权方法，可以有效的自适应修正和更新背景环境模板，从而进一步提高了铁路跟踪的稳定性。鉴于当前铁路信号灯小，易受到其它灯光等背景环境的干扰，并且采集到的彩色图像中信号灯区域中心会出现饱和现象，这些因素都会增加识别铁路信号灯的难度。针对这一现状，本文研究了颜色空间及其之间的转换，用HSI颜色空间阈值分割的方法分割铁路信号灯的边缘和背景环境，提取其轮廓。基于铁路信号的几何特征（圆形），利用Hough变换在二值轮廓图像上进一步检测铁路信号灯，从而提高识别的精度，最后在原图上填充铁路信号灯的颜色，并结合基于红外图像的铁路相关跟踪技检测和识别铁路左侧的信号灯。本文提出了基于图像处理的铁路跟踪技术和铁路信号灯识别技术。通过在机车前端的摄像机拍摄铁路前方路况，实时显示，让司机在面临突发情况时能够提早采取相应措施，从而降低铁路事故的发生率，提高铁路运输的安全性。