如何更有效更自然地实现对计算机的操作，达到更好的用户体验，是人机交互领域的一个热点研究问题。基于手势的人机交互与其他交互方式比较，更易被用户接受和使用。通常将手势分为静态和动态手势两种。静态手势通常指手所呈现的形状，动态手势指的是手在空间中运动所形成的轨迹。将立体视觉技术引入到手势识别系统中使手势识别技术不再受二维平面图像信息的限制，可以利用深度信息，开发出更有效地图像分析和理解算法。研究基于双目立体视觉的手势识别方法，包括手势分割、运动跟踪和识别算法。提出了一种基于深度图像和背景建模的手势分割方法，解决由于运动模糊所造成的深度信息缺失问题；提出了一种新的融合深度信息和颜色信息的手势跟踪方法，可实时准确地跟踪动态手势；提出了一种手势和手形特征提取及分类方法，能正确区分不同操作者在不同操作距离的手势，使手势识别系统更健壮实用。基于上述方法，开发一套基于立体视觉的手势控制的人机交互演示系统。通过实验验证，所研究的方法对动态手势和静态手势均具有较高的识别准确率，并能满足实时性的要求。与IPTV应用程序联机测试表明，该基于手势控制的人机交互系统具有很好的互动效果和用户体验。