近年在计算机技术不断发展的同时,手语识别技术也逐渐成为了一个新的发展方向。本文研究的重点是：静态字母手语识别及简单动态手的识别这两个部分。以基于肤色模型的手势分割为基础,分别构建了以傅里叶特征提取算法与加权KNN分类器相结合的静态手语识别系统,以camshift跟踪算法和DTW识别算法结合的动态手语识别系统。在静态手语的识别中,构建了静态手语数据库,对传统的傅里叶算法进行了归一化,减少了方向、相位变化对手势特征提取的影响,使手势特征描述更加准确；使用加权KNN算法对手语数据库中的样本进行优化,构建多类分类器对静态手语进行识别。在动态手语识别中,使用camshift算法捕获手势图像、跟踪手势运动轨迹、获得手势区域；使用DTW算法计算手势间相似距离,计算出的最小距离即为识别结果。本文对聋哑人的手语识别研究具体的工作有以下5个方面：(1)首先结合国内外对手语识别的研究工作,讨论了其发展过程和研究现状,在对手语识别技术未来的发展趋势了解归纳后,确定出了本文将以聋哑人手语作为主要的研究方向。(2)将现有的手势分割方法进行了对比,在分析各个方法的优缺点并与本论文实际结合后,选用基于颜色模型的方法对手势进行分割。(3)对于静态手语,使用傅里叶描述符获得手势特征向量,再通过加权KNN分类器分类识别得到结果。(4)对动态手语采用camshift算法动态手势进行捕获、跟踪,获取手势区域,作为后续动态手语识别的基础,在得到动态手势后对手势特征提取的结果使用DTW算法进行识别。(5)在确定每部分算法并构建了识别系统后,进行大量的实验,验证每种算法的可行性,检测静态及动态手语的识别率。通过对大量实验结果和数据分析验证了该系统整体框架的可行性,运用本文提出的手语识别算法,能够识别出相似的手语动作。