目标跟踪技术能够在视频序列中对感兴趣目标进行判定、定位以及状态预测,为视频高级语义理解如行为分析等提供支撑,在视频监控、无人驾驶、人机交互、医疗诊断等领域都有广泛的应用。然而,实际生活中所处环境的复杂性和目标形态、运动的多变性,导致视觉跟踪方法仍面临着容易跟丢和漂移的现象。为此,本文对目标跟踪面临的复杂因素进行研究与讨论,着重分析了遮挡、形变和快速运动等三种情况在跟踪过程中对目标产生的影响。通过对上述情形的定性分析发现,目标特征表达和运动状态估计是有效的解决途径。因此,本文将提升表征能力和改善状态估计方法作为主要研究目标,以视频序列的目标信息和时序信息作为主要研究对象,为目标信息构建深度表征模型,实现对候选目标区域具有判别性的特征提取与匹配;通过时序信息和位置信息构建运动预测模型,得到准确的定位信息。首先,借助孪生网络模型有效地将特征提取与特征匹配融合的特点,本文提出了一种基于孪生网络的运动目标特征提取和目标匹配方法。一方面,采用全卷积网络结构以适应不同大小的输入单元,通过网络逐层抽象获得判别性特征;另一方面,引入相关卷积层用于判定目标框与当前视频帧的特征相似性并输出目标框在当前视频帧中对应位置的响应图。进一步地,添加ROI Pooling层以应用于目标跟踪。其次,为了提高帧间目标位置预测的准确性,本文提出了一种基于长短时记忆的目标预测方法,采用预训练的目标表征模型提取图像特征,联合目标位置信息提供给长短时记忆模块进行学习以获取目标位置在时序间的关系。以此为基础并融合目标匹配模型实现候选框与目标框相似度比较,筛选得到最终目标位置。引入相关卷积层和ROI Pooling层的孪生网络模型实现的跟踪方法在跟踪公共数据集上实验结果较好,既说明了基于孪生网络的特征表示具有较强的判定性,又验证了相关卷积层和ROI Pooling层的引入可以有效地匹配和定位目标。进一步地,引入基于循环神经网络的运动模型后,实验结果显示跟踪性能有明显提升,说明本文方法能够适应目标快速运动产生的位移变化并能在遮挡和形变情形下有效捕捉目标。