科技进步使人机交互方式朝着更加自然、人性化的方向发展,传统的交互方式已不能满足人们的需求。近年来增强现实和虚拟现实技术发展迅速,推动了基于手势识别的交互技术的发展,除此之外,手势识别在无人机控制、智能家居和手语识别等众多领域都有广泛应用,在此背景下,本文对手势识别算法进行研究,并最终模拟鼠标功能,实现了单目视觉下自然人手的人机交互。本文所实现交互系统由手势分割、手势跟踪、手势识别、系统实现等模块组成。在手势分割模块中,针对固定阈值的肤色分割方法不能适应实际复杂多变环境的问题,提出了对人手进行现场肤色建模,并利用此模型进行后续手势的分割,实验结果显示能有效地从复杂背.景中分割出手势。在手势跟踪模块,使用核相关滤波器跟踪手势目标,针目标跟踪丢失的问题,提出了2种目标再检测机制。在跟踪前需要对目标初始化,本文使用支持向量机和滑动窗口检测人手,但滑动窗口遍历整幅图片,带来巨大的时间开销,针对人手的运动特性以及背景静止的特点,提出了检测之前先利用改进的帧间差分法检测运动区域,缩小检测范围,该方法使检测区域减少到原来的四分之一,显著提高了检测速率。在手势识别模块,使用傅里叶描述子作为手势特征,选择k最近邻法对静态手势进行识别,在动态手势识别中,提出了更简洁的统计计数识别方法,此算法完全满足系统实时性要求。系统实现模块调用应用程序接口函数实现对鼠标的模拟,并利用MFC开发了一个对话框程序,对手势识别结果进行直观的展示。