视觉跟踪是机器视觉的主要研究方向之一。目标检测法是视觉跟踪常用方法,其本质上是图像分类任务,相较于多类别分类任务,它只需区分目标和背景这两种类别。所以提高分类器的性能是提高跟踪任务成功率和准确率的关键。近年来随着大数据、云计算、GPU和AI芯片的迅速发展,之前由于计算速度慢、数据量不足而得不到重视的人工神经网络算法被应用于实践。卷积神经网络(Convolutional Neural Network,CNN)作为一种神经网络结构,在处理图像时避免了人工设计特征,可直接处理原始图像,使得其卷积层提取的图像特征对跟踪任务有着更强的针对性和适用性。神经网络需要使用大量已标注的数据进行训练,但是在一个跟踪任务中,已标注的训练数据仅有第一帧或仅有一张图片。训练数据的不足会导致模型的过拟合,于是针对训练数据不足的问题本文引入了多域学习法进行网络的预训练。但是传统的CNN在跟踪任务中对于目标的遮挡和非刚性形变容易产生模板漂移的问题,而采用多模板策略可以抑制这种漂移。于是为了适应视觉跟踪过程中目标外观变化,提高视觉跟踪算法的鲁棒性,本文研究了CNN在视觉跟踪领域的应用,并基于CNN结合多域学习法与多模板管理,提出一种通过树形结构管理多模板的多域卷积神经网络(Multi-Domain CNNs with Multiple Models in a tree structure)视觉跟踪算法。首先使用大量已标记目标位置的视频数据预训练多域结构的CNN,使CNN的卷积层可从图像中提取出适用于跟踪任务的特征。然后在跟踪时中对CNN全连接层进行微调以适应跟踪目标,并使用树形结构管理存储不同时间段的目标模板得到模板树。使用模板树综合评价待检测帧,估计目标位置。最后按照一定规则将新模板添加进模板树,完成模板的更新。实验表明,该算法对跟踪过程中目标外观的变化有着良好的适应性,同时多模板可抑制CNN在跟踪时产生的模板漂移问题。