论文部分内容阅读
随着信息化社会的到来,老年人和残疾人士对信息资源的需求也越来越多。为了更好地使他们与计算机进行自然和谐的交流,在人机交互领域中,单一的桌面操作模式已经不再适应用户的需求,而多通道用户界面的应用显得越来越重要。当前的多通道人机交互设计还没有统一的规范,有待于进一步的提高和完善。
本文针对老年人和残疾人与计算机交互的特点,系统地研究了多通道用户界面的特点,多通道交互的理论和整合的方法,研究实现了基于任务检索和匹配的多通道整合算法,并在此基础上开发了人机接口应用系统。首先研究并实现了语音识别,“视觉—眼动”两种自然的人机交互效应通道,给出了这两种交互通道的硬件设备和开发原理以及程序设计等,并在一个交互场景下形成了以语音交互为主、视线交互为辅的协作的工作模式。通过这两种效应通道的协作,减少了单个通道的工作负担,提高了交互的可靠性和工作效率。采用系统分层模型,对这两种通道表达的交互信息进行了提取并转化成统一的语义格式,并在框架“语义槽”信息融合方法的基础上对两种信息采用了基于任务对象关键词检索和匹配的整合方法,增强了人机交互的自然和谐性。最后在本文所设计的交互控制界面上进行了实验,用这两种交互手段控制按钮,验证了多种自然效应通道协作交互方法的有效性,并对系统的容错性能进行了改进。