随着网络规模和通信技术的不断发展,互联网已经融入社会生产生活的方方面面。与此同时,日益增多的网络攻击活动也使得网络空间面临着巨大的安全风险。一方面,加密流量的增多使得传统的基于攻击签名的检测方法难以审查报文的原始数据进而识别恶意加密流量。另一方面,攻击者不断挖掘并利用各种新型网络应用和协议中的零日漏洞实施网络入侵,在检测系统更新零日攻击的攻击签名前,传统的检测方法难以有效地识别这些零日攻击流量。为应对日益复杂多变的网络攻击手段,网络入侵系统亟需打破现有基于固定规则的检测机理,转而采用一种更加智能、更加灵活的检测方法,提高检测系统的学习和推理能力,使得检测系统能够自主的学习攻击知识并更新检测模型。针对上述挑战,本文研究了开放集合下的网络入侵检测方法,将网络入侵检测问题由封闭集合下单纯的分类问题拓展为同时考虑已知攻击和未知攻击的开放集合下的攻击检测问题,并提出了一种基于深度学习的闭环网络入侵检测框架,从流量特征选择、深度学习模型选择以及模型优化三个方面提出新方法,解决开集入侵检测面临的加密恶意流量识别,未知攻击识别以及检测模型更新问题。类似人的终身学习机制,该入侵检测学习框架不仅可以通过离线训练检测已知攻击,尤其是加密恶意流量,还能通过流量模式的差异识别未知攻击,并且通过在线发现的未知攻击样本累积攻击知识,更新检测模型,不断提高攻击检测能力。本文的主要研究内容总结如下:1)网络入侵检测的闭环学习架构研究与高性能入侵检测平台设计。本文提出了一种网络入侵检测的闭环学习框架,通过已知/未知攻击检测、人工样本标记和检测模型增量更新三个步骤使得入侵检测系统能够自动地从现网中发现并积累未知攻击知识,不断提高系统的检测能力。为了支撑上述网络入侵检测的闭环学习技术的研究与部署,本文基于通用硬件设计实现了高性能入侵检测平台,利用DPDK的零拷贝技术以及多核CPU、GPU的并行处理能力实现高通量网络流量实时分析和在线检测。实验结果表明该入侵检测平台可以有效提高通用硬件下的在线检测吞吐量。2)已知网络攻击分类方法研究。针对传统方法难以解决的加密恶意流量识别问题,本文从特征选择和模型设计两方面出发提出了一种基于多维流特征和集成学习的加密恶意流量识别算法。在特征选择上,利用明文握手阶段的协议相关特征和加密数据传输阶段的协议无关特征刻画加密流量。结合真实的加密恶意流量数据,本文分析了每种流量特征与流量安全的关联性以及在正常流量和恶意流量中的分布情况。在模型选择方面,本文提出了一种基于神经网络集成的加密恶意流量识别模型,在训练基分类器时通过样本和特征的双采样提高模型对人工特征的鲁棒性,在基分类器联合时提出了一种考虑模型分类性能的加权联合策略提高强分类器的整体性能。实验表明该算法可以有效提高加密恶意流量的检出率。3)未知网络攻击识别方法研究。本文对开放网络环境下的未知攻击检测问题进行了定义和建模,将该问题解耦成已知攻击分类和未知攻击识别两个子任务并据此将其建模成一个分层优化问题,第一阶段通过学习已知攻击的分类边界将流量特征空间划分为若干子空间,第二阶段在每个子空间内学习每一类已知攻击固有的分布边界,区分已知空间和未知空间。根据两阶段建模结果,本文提出了一种基于CVAE和EVT的分层检测方法,第一阶段用判别模型学习已知攻击的分类边界,第二阶段利用生成模型和EVT理论对每一类已知攻击固有的边界进行学习和建模。实验表明该方法有效降低正常流量误报率并提高未知攻击检出率。4)检测模型增量更新方法研究。本文提出了一种基于知识蒸馏和梯度投影的检测模型增量更新方法,在利用新型攻击样本更新检测模型时,直接从旧模型中提取已知攻击分类知识帮助训练新模型,减轻增量训练引起的检测模型对已知攻击分类知识的灾难性遗忘。一方面本文在增量训练过程中引入蒸馏损失函数,通过让新模型学习旧模型的输出,特别是样本在负标签上的输出,使得新模型可以从旧模型中学习已知攻击的分类知识。另一方面在模型参数优化过程中,将参数梯度向神经网络每一层输入特征的近似零空间上投影,使得更新后的权重可以保持旧模型中的输入输出关系。实验表明该增量学习算法可以有效地缓解检测模型增量更新时面临的灾难性遗忘问题。上述四个方面的内容分别研究了网络入侵检测闭环学习的整体框架以及三个关键技术,验证了基于深度学习的入侵检测方法在解决加密恶意流量识别、未知攻击识别以及检测模型更新问题上的可行性,充分展示了该技术在日益严峻的网络安全环境下的应用前景。