近年来,随着运算能力的提升和卷积神经网络的发展,计算机在目标跟踪任务中准确度和速度已经得到很大提高。然而,由于热红外图像具有分辨率低、缺少细节纹理信息、背景杂波强等特点,红外行人精准快速跟踪任务仍存在一定困难与挑战。由于基于孪生结构网络和相关滤波算法的跟踪器在可见光目标跟踪挑战中取得了较好的跟踪结果,本文将候选区域孪生网络跟踪器(Siamese region proposal network,Siam RPN)应用于红外行人跟踪任务,并对其跟踪过程进行分析。针对跟踪框漂移、跳动以及丢失问题和模板更新问题提出改进算法。首先,针对跟踪框漂移、跳动以及丢失问题,本文提出基于自适应参数的位移过大惩罚算法。该算法可以对跟踪框位移过大情况进行惩罚,自适应计算惩罚参数。实验结果表明,改进算法的跟踪成功率提升了2.59%、跟踪准确率提升了3.69%,有效提高了Siam RPN跟踪器的跟踪质量和稳定性。其次,本文提出基于卷积神经网络的模板预测算法。该算法对模板帧进行裁剪以及拼接,并通过预先训练好的卷积神经网络生成预测模板帧。利用预测的模板帧进行红外行人跟踪时,跟踪器不仅可以利用模板帧图像包含的空间信息,还可以利用跟踪视频序列的时间信息。实验结果表明,改进算法的跟踪成功率提升了5.08%、跟踪准确率提升了7.11%。改进算法有效提高了Siam RPN跟踪器对视频跟踪信息利用的效率。最后,本文在国际红外行人数据集(Thermal Infrared Pedestrian Tracking Benchmark,PTB-TIR)上评估了两种改进算法的整体结合算法。实验结果表明,在所有属性标签中,整体结合改进算法的跟踪成功率提升了3.68%、跟踪准确率提升了15.97%,能有效提高红外行人跟踪质量。改进算法跟踪结果超越了MCFTS、KCF等10种流行的跟踪器。此外,改进算法的跟踪速度大于每秒25帧,满足实时跟踪需求,可以进行精准快速的红外行人跟踪。