随着人工智能、大数据和5G技术的普及,使人们的生活朝着“万物互联”的方向发展,网络的规模及通信量也在急剧增长。网络在优化人们生活方式的同时,其引发的安全问题也不可忽视。对网络环境中正常和异常流量进行识别作为网络安全防御的重要方式,可以有效降低异常行为流量带来的影响。常用的正常和异常流量分类方式是使用机器学习模型对流量特征进行分类规则的学习,这类方法很大程度上依赖于模型参数的选择,人工调参和网格搜索都需要较多的人为干预,并且耗费大量时间,因此需要更高效优化模型的方式来提升分类性能。同时在网络流量中会存在一些潜在的特征,对这些隐藏特征的挖掘有助于模型更好地学习分类规则。而且机器学习模型在分类中常用的策略是仅根据预测分数大小来输出类别,该方法在分类置信度较低的时候可能产生误报,需要更有效的方法来建立分类规则。为了应对上述问题,本文使用深度学习方法对流量数据做更有效的潜在特征提取,并进一步引入群体智能和机器学习方法来提升流量分类的性能。本文的主要贡献包含以下三点:（1）本文提出基于粒子群优化（Particle Swarm Optimization,PSO）算法优化Xgboost模型的流量分类方法,该方法使用PSO算法在模型的参数空间中自适应地寻找最优参数组合,从而有效提升模型在正常和异常流量识别中的性能,相比于其他集成学习模型其综合性能有一定程度的提升。（2）针对网络流量中存在潜在特征的问题,本文提出基于图卷积的长短时记忆（Long Short-Term Memory,LSTM）网络的流量特征提取方法,使用图卷积对网络流量的空间拓扑结构进行空间特征提取,并使用LSTM模型提取其时序特征,然后结合PSO算法优化后的Xgboost模型来学习更有效的分类规则。（3）进一步提出基于置信度的多模型流量分类方法,在模型分类过程中引入置信度阈值的方式对分类置信度阈值较低的流量做进一步的判断,以提升其识别正常和异常流量的效果。本文通过在UNSW-NB15数据集上进行实验,验证了PSO算法优化Xgboost模型结构的方法在流量分类中的有效性;通过对网络流量进行拓扑结构和时序特征提取,并与特征选择和其他深度学习特征提取方法对比,验证了所提出特征提取方法的性能更优;通过将置信度概念引入到模型分类过程中,使用置信度阈值的方式对易分类错误的流量进行二次判断,与原有分类方法对比验证了该方法的有效性,能够提高分类准确率并降低误报率。