目标跟踪是计算机视觉的一个重要研究方向,在诸多领域有着广泛的应用。主流的研究一般基于可见光图像,跟踪效果常常受光照、天气等环境因素的影响。异源图像能够提供更全面的信息,弥补单模态存在的缺陷。本文便基于红外可见光图像,利用这两个模态图像之间很好的互补特性,提高单目标跟踪算法在光照变化、弱光等场景下的跟踪效果。鉴于孪生网络在目标跟踪领域有较成功的应用,本文也基于孪生网络,采用基于检测来跟踪的思想设计红外可见光融合目标跟踪算法,主要的研究工作如下:第一,本文提出了一种基于无锚（Anchor-Free）策略的单阶段（One-Stage）红外可见光单目标跟踪算法。本文在特征提取与融合、目标跟踪网络结构以及损失函数方面都提出了一些创新的改进。首先,该算法基于特征级融合,利用卷积神经网络,提取两个模态图像的个性及共性特征,并将它们自适应融合。接着,本文提出了一种多层卷积特征融合策略,充分利用了浅层卷积特征的空间信息及深层卷积特征的语义信息,提高跟踪精度。此外,本文通过改进损失函数,有效缓解了主流单阶段目标跟踪网络中普遍存在的分类、回归分支之间的不平衡问题,进一步提高了跟踪精度。第二,本文在上文的单阶段算法的基础上进一步做出改进,提出了一种两阶段（Two-Stage）目标跟踪方法。该算法在第一个阶段中,利用上文的单阶段网络,输出分类、回归结果。第二阶段中,使用较为新颖候选样本筛选方法,根据第一阶段的预测,筛选出一定数量的候选样本。然后,通过精确感兴趣区域池化（Precise ROI Pooling）获取候选样本特征,并利用本文提出的对比网络逐一度量候选样本与目标模板间的相似度,从而获得最佳跟踪结果,这有效的提高算法的鲁棒性。最后,本文进行了充分的实验与评估。定量实验结果表明,本文所提出的算法在VOT-RGBTIR2019数据集上EAO指标可以达到0.3939,在RGBT234数据集上PR、SR分别达到0.760和0.552,达到主流性能。在定性实验中,在多个具有代表性的场景中,本文所提出的算法表现优异。此外,消融实验结果表明,本文所提出的几个创新点能有效提高目标跟踪算法的性能,达到预期的效果。综上所述,本文的研究工作具有很好的理论与应用价值,所提出的算法也达到了较高的性能。