随着时代的变迁和技术的进步，人类已不满足于用键盘和鼠标对计算机进行操作，因此人机交互技术就成为了当下的研究热门，而手势交互就是其中最受关注的一个方向。手是人体最为灵活的部位，其所能够表现出来的手势是复杂多变的，这对手势交互技术提出了很高的要求。手势检测和跟踪作为手势交互的前提和基础，需要克服复杂环境中的种种干扰，准确的定位出目标手势所在位置并获得一系列连续的跟踪轨迹，这是一个十分具有挑战性的课题，值得不断的深入研究。针对当前手势交互技术的发展情况，本文拟研究复杂环境下的手势检测与跟踪问题。　　这里的手势检测指的是手势的第一帧自检测。为了能够在复杂环境下具有较高的鲁棒性和准确率，本文采用基于Haar-like特征的AdaBoost分类器进行手势检测，检测目标为握拳手势，检测到的若干个待定目标进一步结合时间和空间上的限制条件进行辅助判断，最后得到一个满足用户交互意愿的跟踪手势。实验结果表明该方法能够在背景中存在手势干扰的情况下准确的锁定目标手势。　　手势跟踪部分的跟踪对象同样是固定手势，采用TLD框架进行跟踪。TLD算法其跟踪鲁棒性高，又有PN在线学习方法进一步提高跟踪准确率，但是运算量过大导致实时性不好。针对这一点，本文设计了一种实时性更高的算法BP-TLD，通过对TLD中数据量最大的检测模块添加反向投影算法，提高了约20％的跟踪速度。此外还可以根据手势跟踪的应用场景按需优化TLD的内部参数。从BP-TLD与其他手势跟踪算法HandVu和MSEPF的对比实验中可以看出，在复杂环境和高速手势的情况下BP-TLD的跟踪成功率要远高于其他两个算法。　　在上述手势检测和跟踪算法的基础上，本文构建了一套手势控制视频播放的应用案例，演示结果表明我们设计的算法检测准确率高，跟踪稳定，不易受到复杂背景的干扰，且跟踪速度能够达到20帧/秒，可以应用在类触屏手势操作方面，比如视频控制、模拟鼠标和体感游戏等。