随着人机交互技术的快速发展,新的人机交互方式成为近年来研究的热点。手势作为一种自然而直观的交流方式,是人机交互中一个重要组成部分。基于视觉的手势识别一直是计算机视觉领域非常活跃和富有挑战性的研究课题,受到国内外研究人员的广泛关注。本文在归纳分析国内外手势识别技术的基础上,选择对单目视觉手势识别开展研究,原因在于虽然基于双目视觉手势识别的效果较好,但对硬件要求高,推广性不强。而基于单目视觉的手势识别成本低,通用性强,却易受到现实环境的制约,因此本文从实际应用的角度出发对手势检测、手势跟踪和手势识别的相应算法进行研究。论文的主要工作和创新点如下：手势检测方面,由于手势在现实环境下易受复杂背景和光照条件的影响,针对此问题采用由Viola和Jones提出的级联分类器目标检测框架进行手势检测。该方法可以有效的克服背景和光照对手势的影响。同时结合肤色信息可以有效降低Viola-Jones检测器的误检测率,检测结果可作为手势自动跟踪的初始化目标。手势跟踪方面,针对目前传统目标跟踪方法在类肤色背景、手势运动过快、手势形状多变情况下容易跟踪丢失的问题,研究并分析了一种双层视觉模型跟踪(Local-Global Tracking,LGT)方法。LGT跟踪方法利用双层模型相互约束,并在跟踪过程中对颜色、运动和形状特征保持动态更新,适合外观显著变化的目标跟踪。但用于手势跟踪时其中颜色更新时间较长,本文通过引入新的颜色概率提出了适用于手势的改进双层视觉模型跟踪方法,缩短了原方法的跟踪时间并且保证了跟踪效果。该方法能够很好的解决手势跟踪过程中的跟踪丢失问题。手势识别方面,在定位手势之后通过肤色分割得到手势二值图,提取手势形状的傅里叶描述子和Hu矩特征,通过BP神经网络分类器进行识别,并实现了一个机器人双手手势识别系统。本文通过对算法原理的分析以及实验表明,所采用的手势检测、手势跟踪和手势识别方案在现实环境中有较高的精确度和很好的鲁棒性。