在目前人工智能高速发展的时代,对计算机视觉的研究也越来越热门。在视觉领域中,由于人手手势表达能力的丰富性,针对手势识别的研究者不断增多。随着人们对手势识别研究的深入,使得人机交互更加人性化。目前机器的研究不断趋于小型化,然而外部输入设备一直占了机器的很大一部分,基于计算机视觉的手势识别,使得机器去掉这些外部输入设备成为可能。目前国内对手势识别的研究,很大一部分是对一些简单手势的识别,手势量较少,为了更好、更简单的实现人机交互,利用普通摄像头实时采集人手图像,完成对26个英文字母手势的检测、跟踪和识别,并且输出相应的字母。通过对相关算法的分析和改进,使得效果具有一定的改善。首先,对于人手的检测,肤色分割检测是最简单而且有效的方法,但是肤色检测很容易误检,例如把人脸误检为人手。利用图像的Haar特征,以Adaboost分类器进行目标检测在较大尺寸图像的图像上检测比较困难,所以利用两种方法的优点,把肤色检测的结果输入Adaboost分类器进行检测,很好的完成人手检测,提高了检测精度。其次,在人手跟踪上,粒子滤波跟踪算法具有不错的效果,但基本粒子滤波跟踪算法在重采样阶段存在粒子退化和粒子匮乏等缺点,针对此缺点,提出了一种基于风驱动优化的粒子滤波改进算法,既在粒子滤波算法重采样前,引入风驱动优化算法对粒子进行优化,仿真和实验结果表明该改进算法在一定程度上提高了基本粒子滤波跟踪算法的效果。然后,对实时跟踪到的手势区域,进行识别。识别方法主要采用深度学习——卷积神经网络进行识别,针对卷积神经网络识别率低和误识别率高的手势利用模板匹配的方法进行验证,从而提高了整体手势的识别效率。最后,完成了实时手势识别系统设计,该系统通过摄像头采集视频图像,完成字母手势检测、跟踪和识别,同时把相应的手势识别结果以英文字母的形式输出,实现了一种手势输入法。