手写输入与语音输入是人机交互中最自然、最符合人类习惯的交互方式,而手写体识别与语音识别也是多模式人机交互领域中的重要研究对象。这两种对象具有一个共同的特点,那就是时序性。本文主要研究一种以人工神经网络(ANN)和隐马尔可夫模型(HMM)为基本模型的时序模式通用识别方法。ANN具有抗噪声、自适应、学习能力强、识别速度快等特点,HMM具有较强的处理时间序列的能力。因此在本文中,将HMM作为整个待识别对象的结构模型,模拟时序模式状态之间的转换。用ANN来估计信号帧在HMM状态上的概率,并模拟HMM的各个状态,对待识别对象的基本单元模型进行建模。另外,针对传统的识别模型结构简单,自适应性差的问题,本文提出了一种自动增减状态数目的模型状态优化方法。这种方法可以根据训练样本的具体情况,对建模精度不够的状态进行拆分,对冗余状态进行删除,最终达到一个合适的数量。我们以手写符号识别和语音识别为实验对象,将上述方法与传统方法做了比较。结果表明,这种方法在不降低识别率的情况下,不但可以提高建模精度,并且节省了25%的系统资源。为了将研究成果实用化,利用上述识别模型及状态优化方法,我们开发了一个简单的多模式人机交互系统,人们可以利用手写输入或语音输入向计算机发布命令,交互方式简单自然。另外,该系统具有结构简单,响应速度快,识别率高等特点。手写命令符号的识别率达到了98%,语音命令的识别率达到83.6%,已经能够初步满足一般的应用需求。