语音识别和计算机视觉技术,推动自然人机交互技术不断向前发展。自然人机交互技术不仅给普通用户带来更多的便利和工作效率的提升,而且给残疾人带来本质的改变,让他们能够更有效率地使用计算机,改善他们的生活状况。因为残疾人相对购买力较低,同时对产品有不同的需求,导致相应的残疾人人机交互辅助系统开发成本较高,产品较少。同时由于目前中文语音识别和计算机视觉技术的限制,导致语音技术和计算机视觉技术仍然无法取代通用的鼠标和键盘。但是,尽管中文语音识别和计算机视觉无法满足普通用户的自然交互的需求,但是作为残疾人用户,他们却迫切地需要这些技术来为他们服务,让他们能够使用计算机与外界交流,去学习提高或者娱乐放松。因此本文利用现有的语音识别技术和计算机视觉技术,来开发适合残疾人用户使用的人机交互辅助系统。本文首先设计实现了适合残疾人使用的中文语音输入系统,提高残疾人特别是手部残疾人操作计算机的效率。这一中文语音输入系统允许用户在无法使用键盘和鼠标的情况下,完全模拟标准键盘按键及鼠标移动和按键,尽管输入的效率低于正常的鼠标键盘输入效率,但是作为一种替代方案,以低成本的方式实现了残疾人纯语音输入的辅助系统。系统使用较长的词组作为语音命令,因此系统在低噪音环境中识别率比较高,用户经过声音训练后,识别率能达到80%,而在噪音环境中也能保持高达70%的识别率。其后,论文实现了基于人脸检测和背景差分检测相结合的电源节能软件,实现在用户离开计算机50秒内关闭显示器,达到节约能源的目的。论文基于图像差分和角点检测方法实现手指定位的功能,通过图像坐标的映射实现模拟鼠标移动及定位的功能。论文利用边缘检测和椭圆拟合技术,实现了视线跟踪系统中,红外人眼图像瞳孔中心检测的功能。最后论文分析自然人机交互技术在嵌入式移动设备中的实时性能优化方法,提出基于抢占差值的阈值优化实时调度算法,为实现移动设备智能计算的实时和低功耗需求提供一种方法。