增强现实(Augmented Reality，简称AR)可以将虚拟的物体合并到现实场景中，并能支持用户与其进行交互，它已经成为虚拟现实研究中的一个重要领域，也是人机界面技术发展的一个重要方向。本文以投影仪为显示设备，以摄像机为光学传感器，设计并实现了一个基于视觉的增强现实系统。用户通过该系统，与投影在地面的信息进行交互。为了满足AR系统实时交互的要求，我们需要设计一个有效的目标跟踪算法。基于图像分割的目标跟踪技术，在鲁棒性和实时性上都能够满足AR系统交互的要求。但是，本文的系统中，背景是快速变化的投影屏幕，因此，传统的背景减除法难以适用。本文提出了一个新的目标跟踪算法来解决这个问题。新的跟踪算法利用投影屏幕的帧缓存建立背景模型，通过传统的背景减除法分离出跟踪目标。通过帧缓存建立背景模型的过程，由几何变换和颜色变换两个步骤构成。通过几何变换，帧缓存被映射到摄像机图像空间中投影屏幕的位置；通过颜色变换，帧缓存被映射到摄像机图像的颜色空间，从而与摄像机拍摄画面的颜色相一致。接下来，就可以利用这一结果进行背景减除，从而分割出目标了。本文实现的AR系统，基于投影仪-摄像机架构，利用帧缓存和摄像机拍摄图像实现了基于视觉的无标记跟踪算法。本系统对硬件设备没有特殊要求，跟踪算法也能达到较高的精度，因而具有广泛的应用前景。