目标跟踪是计算机视觉领域十分重要的研究课题。它在视频监控、自动驾驶和人机交互等领域有着广泛的应用，具有很高的研究意义和应用价值。虽然过去几十年来目标跟踪领域的研究取得了较大进展，但是现实场景中仍然存在很多挑战性的问题亟待解决，如光照变化、目标形变、背景干扰和遮挡等。目前，基于深度学习的目标跟踪方法取得了较好的性能，但是这些方法没有很好的考虑到跟踪任务的时序本质，因此在困难场景下容易出现跟踪器漂移的现象。针对这一问题，本文从建模跟踪目标在序列不同帧中关联的思想出发，研究基于深度学习的目标跟踪方法，具体研究内容如下:　　(1)在tracking-by-detection跟踪方法框架下，研究如何将跟踪序列中的时序动态信息融入到表观模型中。目前基于深度学习的目标跟踪方法仅在运动模型中参考了前一帧的跟踪结果，而作为核心的表观模型极少接触到过去的跟踪信息。在目标发生剧烈表观变化或者背景存在相似物体时，表观模型对目标区域响应较低，容易发生漂移。针对这一问题，受到递归神经网络(Recurrent Neural Network，RNN)强大建模序列动态的能力启发，本文提出了一种利用时序RNN建模目标跟踪任务的方法，通过利用保留空间特性的卷积长短时记忆模型来建模目标的表观动态和运动动态。针对所提出的方法，本文进一步设计了能够适应RNN的离线训练和在线微调的策略。提出的该方法提升了在目标跟踪标准评测集OTB50上的表现。　　(2)在tracking-by-verification跟踪方法框架下，探索如何增强在不同帧中匹配跟踪目标的能力。目前基于连体网络的目标跟踪方法都采用AlexNet，VGGNet等做为基础的单支网络结构，这些网络获取的特征有很强的局部性，且相互之间没有明显的关联关系，削弱了这些局部特征对于整体匹配的可靠性。本文提出结合空间RNN的连体递归网络框架，利用空间RNN来建模局部特征之间的关联关系，增强局部特征的判别能力。目前基于连体网络的方法仅仅进行了表现相似度的匹配，对背景中极其相似的物体区分度不高，据此本文结合运动约束来提高该方法的性能，最终提高了在目标跟踪标准评测集OTB50上的表现。