社交网络、网络通信等平台现在已经成为人们日常生活中不可或缺的一部分。然而一些恶意用户通过不法手段进行的恶意行为给正常用户带来了巨大的不便和潜在的危险。基于图论的用户异常行为建模分析技术已经逐渐成为国内外学术界的研究热点,本文针对静态图和动态图模型的两类异常行为检测问题进行分析建模,提出解决方案并通过实验验证提出算法的有效性和扩展性,具体内容如下:(1)针对静态图模型的异常检测问题,提出了一种基于分类树的、无监督的异常检测算法KD-Forest。该算法提取基于图结构信息的多维特征,使用KD树构造分类树,通过Bagging方法选取特征提高随机性。通过对超过十万个节点的真实社交网络数据集进行实验,验证算法具有较好的扩展性,本方案相较于现有的相关的分类算法在时间效率和空间复杂度上有较高的提升,且在准确率和ROC值上有较好的表现。(2)针对动态图模型的异常检测问题,提出了一种基于LSTM的时间序列异常时间点检测算法。提出了一种基于图距离的相似性特征度量方案,具体包括图结构距离和图编辑距离两大类,使用特征值训练分类模型进行异常检测。通过对超过百万条的网络IP数据流分类进行入侵检测,验证本方案的可行性,相较于现有算法有着更高的准确率和ROC值。本文提出的两类算法适用于社交网络、通信网络等模型的异常检测问题,并且根据图的性质提出对应的解决方案,取得了较好的检测效果,最后本文提出了存在的不足之处和今后的研究方向。