基于视觉的人机交互是一种更自然的人与计算机交互方式。一直受到研究人员的关注。近年来，随着投影技术的发展，将投影技术和计算机视觉技术相结合吸引了许多相关研究人员和公司的兴趣。把投影仪和摄像机相结合，可以突破传统显示和交互的瓶颈，将便携设备的投影平面转换成一个超大的可交互的显示平面，此举具有巨大的理论价值和商业价值。建立在投影仪摄像机系统(PRO-CAM)下的人机交互涉及到机器视觉、图像处理、模式识别等多个领域的理论和技术。要实现实时的人机交互，对图像的分割、特征的提取和手势的识别都有较高的要求。手部的指尖、轮廓、深度特征是检测识别敲击手势的基础。PRO-CAM系统复杂的可见投射光照下，手的特征检测极为困难。使用经典的双目立体视觉获得深度信息难以达到实时性。　　 本文对PRO-CAM系统下的人机交互几个关键技术问题进行了研究，主要工作贡献可归结为如下几点：　　 1、设计了一个新颖的PRO-CAM系统，系统包括红外摄像机，红外照系统，可见光摄像机和投影仪。使用红外光照系统，解决了在摄像机投影仪系统复杂的、运动的可见光照背景中提取前景困难的问题；根据红外光照摄像机和可见光摄像机提供的深度信息做敲击的检测,实现了一种重要的手势的准确检测。　　 2、红外摄像机和可见光摄像机相结合的几何标定，解决了在投影仪下使用红外摄像机出现的难以标定问题，使用棋盘格的辅助来建立红外摄像机和可见光摄像机的映射关系，再使用投影仪投射棋盘格图片，建立投影仪和可见光摄像机的映射关系，从而快捷准确的获得红外摄像机和投影仪的几何映射关系。　　 3、基于LaplaceofGaussian的团块检测和曲率相结合的快速指尖检测算法。利用手指的宽度保持在一定的范围内和指尖位置的边缘曲率较大，设计了一个快速的指尖检测算法。我们把手指看作一个个团块，使用检测团块，那些具有高曲率值的团块则很有可能是手指区域。我的指尖检测算法能够在红外光照不均匀的情况下实时的、准确的检测出指尖的位置。　　 4、使用ChamferMatching做红外光照和可见光照下的异质图像的匹配。在使用两个不同的摄像机的情况下，图像的差异比较大，传统的立体匹配和特征点匹配的方法在这样的环境下均无法使用。本文使用边缘特征，提取红外光照下的手的轮廓为模板，使用ChamferMatching来寻找可见光照下手的位置，手在两幅图像中的视差与深度相关，可以用这种视差的变化来判断敲击。通过限制匹配搜索范围和使用基于黑森矩阵的边缘检测，减少了边缘匹配中误匹配的发生。