近年来,随着互联网在世界范围内的迅速普及,导致各种网络应用爆发式地增长,随之而来的是网络流量的激增。这些网络流量中既有基于RFC文档的公开的协议,也有大量的私有协议,对于公开的协议网络监管人员可以根据RFC文档或其它公开的文档来分析该网络流量的行为,但是对于私有协议,由于缺少必要的先验知识,往往不能分析出网络流量的行为。此时,对这些私有协议或未知协议的行为进行建模,进一步逆向出协议的行为模型,具有重要意义。本文提出了一种基于隐马尔可夫模型的协议行为逆向方法,该方法将网络协议的行为建模成隐马尔可夫模型,再使用Baum-Welch算法逆向出该行为模型。由于Baum-Welch算法的输入为观测序列,该序列中的元素要为报文所处的对应状态,本文又提出了一种基于信息量的关键字提取方法使得观测序列的元素能够较好地对应报文所处的状态。在关键字提取阶段,首先抓取真实的网络报文数据,然后将网络报文数据进行对齐处理,接着计算对齐之后报文不同字段的自信息期望以及报文中相邻字段的互信息,根据这两个指标确定报文的关键字段,最后提取报文关键字。在逆向网络协议行为模型阶段,首先划分网络会话,每次会话即为一个观测序列,然后提取所有会话的关键字组成Baum-Welch算法的输入,同时在这里也需要初始化隐藏状态数量,接着使用Baum-Welch算法逆向出不同数量隐藏状态对应的网络协议行为模型,最后使用前向-后向算法对逆向出来的协议行为模型进行评分,从中选取既准确又精简的行为模型作为最终的网络协议行为模型。最后,使用三种不同的协议来测试本文提出的新方法,并将逆向出来的网络协议行为模型与该协议标准的行为模型进行分析与比较,验证了本文方法的有效性。本文实验得出的协议行为模型的结果在可读性和精简性方面要好于之前的研究成果。