随着人们对互联网的依赖日益加深,保证互联网正常且稳定地运行是社会稳定运行的前提。但随着网络安全威胁技术不断升级,新的网络安全威胁不断涌现,网络安全面临较严峻的形势。而网络规模的不断增大,网络流量数据规模的增大,给网络流量的分析和异常检测带来了许多困难。因而,如何实时准确地发现大规模网络中存在的网络流量异常行为,保障网络正常且有效地运行,对提高网络的可用性和可靠性具有重要的意义。目前网络流量异常检测技术侧重于对每个研究对象（如包、流或主机）的特征提取、选择和分析,忽略了网络流量中的交互行为。因而,提出了关注网络节点“社交”的基于图的网络流量分析和检测技术。但目前提出的基于图的异常检测技术忽略了网络交互的时间信息且难以做到实时检测。针对上述问题,本文对网络流量异常检测关键技术中的网络流量异常检测的系统设计、网络流量的离线分析、网络流量的在线异常检测展开研究。具体贡献包括:1)设计了基于时间子图模式的网络流量异常检测框架。针对当前基于图的网络流量异常检测框架对网络流量交互特征表示不明显和实时性较差的问题,设计了基于时间子图模式的网络流量异常检测框架。该框架包括数据采集层、数据存储层、图模型构建层、异常检测层和数据展示层五个部分;之后对该框架各个层采用的技术进行了介绍;最后着重对异常检测层中的基于频繁时间子图的网络流量离线分析、基于时间子图模式计数的异常在线检测和基于时间子图持续查询的异常模式辨识三个模块进行了分析,并提出面临的挑战。2)研究了基于频繁时间子图结构的网络流量离线分析的方法。本文采用频繁时间子图对不同场景下频繁交互的模式进行描述和分析,但目前的频繁子图挖掘算法并没有考虑时间信息难以实现对网络流量中频繁交互模式的挖掘。针对该问题,本文深入研究了时间图中频繁时间子图模式挖掘技术,设计并实现了基于时间优先搜索的频繁子图模式挖掘算法-TM-Miner,该方法构建了基于时间优先搜索的唯一标识系统以减少搜索空间,提高算法的效率。最后,采用了该算法挖掘了网络流量中频繁时间子图模式,实验结果表明TM-Miner算法的效率较当前算法提高了2倍。3)研究了基于时间子图模式计数的网络流量异常检测的技术。针对网络流量中图特征较为简单和缺乏时间信息考虑的问题,研究了时间子图计数作为特征的网络流量异常检测技术。该方法将网络流量按照时间划分并构建为时间图结构,然后,计算网络流量构成时间图中时间子图的个数,最后多元协方差矩阵的方法对网络流量中的异常时间点进行检测。为了满足时间子图计数特征的实时构建,本文提出了基于时间优先搜索的精确计数算法和基于边抽样的估计计数算法,这两种算法均采用了时间优先搜索和时间信息进行剪枝,以提高算法的效率。实验表明:与之前的算法相比,精确算法最高可以快3倍,且估计算法在保证精确度的情况下可以获得1.3到3倍的加速比,且采用该特征进行网络流量异常检测具有97%的准确率。4)研究了基于时间子图模式持续查询的网络流量异常辨识方法。针对网络流量实时更新的特点,采用图数据流的模型和时间子图模式分别对网络流量和网络异常有固定的交互模式进行描述,因此网络流量异常检测辨识可以建模为图数据流的时间子图模式持续检测问题。为了解决该问题,针对单时间线的异常模式,设计了基于连接-缓存树的时间子图持续检测算法;针对多时间线的异常模式,设计了基于哈斯图的时间子图持续检测算法,这两种算法实现了时间信息和拓扑结构同时匹配,以提高算法的效率。实验表明两种算法均具有较高的效率,与当前的算法相比提高了4倍的吞吐量。本文针对当前基于图的异常检测框架实时性差和忽略网络交互信息的特点,研究了基于时间子图模式的网络流量异常关键技术,实验结果表明,该框架可以实时监控网络流量异常,并实时对流量异常进行辨识。该异常检测框架不仅适用于网络流量的异常检测,也可以适用于社交网络等动态图的异常检测。