传统鼠标和键盘控制方式并不能完全满足残疾、野外工作等人员的工作需求,于是提出了用Kinect识别人体不同的动作类型来实现光标和键盘的行为模拟,从而达到让计算机通过观察人体动作,理解动作行为发出的命令,更大程度提升交互体验。本文研究主要是将Kinect感应器捕获的彩色图像应用到动作识别中,来实现鼠标和键盘行为的模拟。本文的主要工作有:1.鼠标和键盘行为模拟中涉及到骨骼点的坐标映射和坐标转换,本文中给出了计算公式,通过坐标映射实现了光标和HandRight骨骼点的运动轨迹相同,并且通过调节公式中lx,ly系数,找到最佳的坐标映射效果,同时通过坐标转换实现了 Kinect感应器捕获的人体关节和彩色图像匹配,当坐标转换完成后,通过动态提取彩色图像上骨骼点位置处像素颜色达到了减少动作类型的目的。2.在模拟按键按下和弹起行为中涉及到握拳和手掌伸开动作识别,本文中提出了通过关节角度计算方法来识别握拳和手掌的伸开,并找到了握拳识别的临界角度a。当关节角度小于a时为握拳动作行为,当关节角度大于a时为手掌伸开动作行为。3.通过右手的上旋转和下旋转来模拟鼠标左键的单击和双击,由于用力过大,两个动作之间会产生相互干扰,由此引入了悬帧技术,本文中对悬帧技术的理论进行了叙述,并通过对比实验验证了悬帧技术能够有效地避免动作行为之间的相互干扰。4.在模拟光标运动时会出现光标位置超出屏幕范围,即发生光标位置越界。本文中给出了光标随着骨骼点运动发生越界时,实际位置的计算公式。5.在按键行为模拟中,会由于人体自身不可避免的抖动引起光标的抖动,本文对抖动消除的理论进行了分析,并通过对比实验验证了抖动消除技术能够明显避免光标抖动,很大程度上提高键盘行为模拟的准确度。6.当骨骼点距离Kinect感应器较远或者在Kinect感应器视野范围的边缘时,则感应器捕获骨骼点的信息是错误的,而当Kinect感应器通过旋转,使得骨骼点位于其视野的中心位置时,则是感应器捕获骨骼点信息的最佳朝向,因此本文中提出了通过标定骨骼点颜色为红色,当感应器检测到彩色图像上转换后骨骼点位置处的像素颜色为红色时,则自动计算旋转角度θ,并通过旋转,使其标注为红色的骨骼点位于感应器视野的中心位置,从而使得感应器捕获的骨骼点信息是正确的,以达到提高动作识别准确度和精度的目的。