论文部分内容阅读
随着新一代创新技术的快速发展与广泛应用,现有的信息安全模式和理念正在面临极大的挑战,日趋复杂严峻的安全形势严重制约了我国社会信息化、数字化、网络化的进一步发展。“十四五”时期主要目标任务中强调要坚持总体国家安全观,加强国家安全体系和能力建设。作为网络空间安全和攻防对抗中至关重要的一环,异常网络流量检测系统能够实时侦测、监控、追踪和过滤可疑流量与连接,及时有效地发现、识别和防御强对抗环境下的潜在威胁与高级持续性威胁。因此,异常检测研究已经成为各军事大国关注的重点,是未来国际信息技术领域争夺的重要战略高地。
近年来,在自然语言处理和计算机视觉等应用领域中深度学习取得了大量革命性的突破成就,这为异常网络流量检测的研究提供了新的思路。由于传统的浅层学习方法无法适应网络流量的动态增长,不能满足大规模高维流量数据的智能分析及预测的需求,因此针对流量数据的特点设计快速高效的异常检测算法已成为网络安全领域中亟需解决的问题。本文基于深度学习方法对网络入侵检测展开研究,选择异常检测问题作为研究目标,重点研究异常网络流量的智能化识别,以减少安全从业人员的工作量和增强安全系统的网络态势感知能力,为我国网络安全技术体系的提升和网络强国战略的建设提供有力支撑。
本文工作贡献主要包括以下三部分:
(1)针对网络流量数据中存在的有效异常样本数量较少等问题,提出一种无监督异常检测模型——单类长短期记忆网络(One-Class Long Short-Term Network,OC-LSTM)。该模型是一种端到端的单分类神经网络,其特殊设计的损失函数等效于单类支持向量机的优化目标,能够在仅有正常类型数据的情况下创建围绕数据的紧密包络以实现异常检测的任务。通过直接采用表示学习的目标进行异常检测,OC-LSTM可以直接处理原始数据,而无需使用无监督的迁移学习做进一步的特征提取。这将有助于辨别大型数据集中的复杂异常,尤其是当正常和异常之间的决策边界是高度非线性的时候。在三个大型网络安全数据集上进行的一系列对比实验令人信服地证明,OC-LSTM可以在合理的训练时间下达到比现有最先进的单分类异常检测方法更好或相当的性能。
(2)在有监督异常检测方面,为了有效地改善对网络流量数据盲目使用深度神经网络(Deep Neural Network,DNN)的现状,提出了一种实用的、系统性的基于结构化数据处理系统(Structured Data Processing System,SDPS)的深度异常检测(Deep Anomaly Detection,DAD)模型SDPS-DAD,通过综合多种处理方法使得数据更适用于深度神经网络训练,进而提高分类器的异常检测性能。SDPS拥有较低的复杂度和较强的普适性,其特殊设计的数据增强、特征选择、网络架构选择等模块能有效的解决当前在结构化数据上直接使用DNN导致的训练效率较低和效果较差等问题。之后,以异常网络流量数据为例,本文设计一系列消融实验验证SDPS-DAD模型中各模块的有效性。在两个测试数据集上的对比实验有力地证明,仅使用简单的分类网络,SDPS-DAD就能够获得比其他复杂先进方法更优越的检测性能。该模型可以显著提升深度神经网络处理结构化数据的能力,为深度学习应用领域的拓展提供有效参考。
(3)为了验证提出的异常检测方法的实用性,推动深度学习模型的落地应用,本文完成了智能异常网络流量检测动态监控系统的综合设计与实现。首先在前期需求分析与总体设计的基础上构建出系统的整体框架,之后详细阐述各模块的设计与关键流程的实现,最后完整实现智能异常网络流量检测的原型系统并验证其在大规模网络流量环境下的可靠性和实用性。本文工作有力的推动了网络安全领域相关深度学习模型的落地和应用。
近年来,在自然语言处理和计算机视觉等应用领域中深度学习取得了大量革命性的突破成就,这为异常网络流量检测的研究提供了新的思路。由于传统的浅层学习方法无法适应网络流量的动态增长,不能满足大规模高维流量数据的智能分析及预测的需求,因此针对流量数据的特点设计快速高效的异常检测算法已成为网络安全领域中亟需解决的问题。本文基于深度学习方法对网络入侵检测展开研究,选择异常检测问题作为研究目标,重点研究异常网络流量的智能化识别,以减少安全从业人员的工作量和增强安全系统的网络态势感知能力,为我国网络安全技术体系的提升和网络强国战略的建设提供有力支撑。
本文工作贡献主要包括以下三部分:
(1)针对网络流量数据中存在的有效异常样本数量较少等问题,提出一种无监督异常检测模型——单类长短期记忆网络(One-Class Long Short-Term Network,OC-LSTM)。该模型是一种端到端的单分类神经网络,其特殊设计的损失函数等效于单类支持向量机的优化目标,能够在仅有正常类型数据的情况下创建围绕数据的紧密包络以实现异常检测的任务。通过直接采用表示学习的目标进行异常检测,OC-LSTM可以直接处理原始数据,而无需使用无监督的迁移学习做进一步的特征提取。这将有助于辨别大型数据集中的复杂异常,尤其是当正常和异常之间的决策边界是高度非线性的时候。在三个大型网络安全数据集上进行的一系列对比实验令人信服地证明,OC-LSTM可以在合理的训练时间下达到比现有最先进的单分类异常检测方法更好或相当的性能。
(2)在有监督异常检测方面,为了有效地改善对网络流量数据盲目使用深度神经网络(Deep Neural Network,DNN)的现状,提出了一种实用的、系统性的基于结构化数据处理系统(Structured Data Processing System,SDPS)的深度异常检测(Deep Anomaly Detection,DAD)模型SDPS-DAD,通过综合多种处理方法使得数据更适用于深度神经网络训练,进而提高分类器的异常检测性能。SDPS拥有较低的复杂度和较强的普适性,其特殊设计的数据增强、特征选择、网络架构选择等模块能有效的解决当前在结构化数据上直接使用DNN导致的训练效率较低和效果较差等问题。之后,以异常网络流量数据为例,本文设计一系列消融实验验证SDPS-DAD模型中各模块的有效性。在两个测试数据集上的对比实验有力地证明,仅使用简单的分类网络,SDPS-DAD就能够获得比其他复杂先进方法更优越的检测性能。该模型可以显著提升深度神经网络处理结构化数据的能力,为深度学习应用领域的拓展提供有效参考。
(3)为了验证提出的异常检测方法的实用性,推动深度学习模型的落地应用,本文完成了智能异常网络流量检测动态监控系统的综合设计与实现。首先在前期需求分析与总体设计的基础上构建出系统的整体框架,之后详细阐述各模块的设计与关键流程的实现,最后完整实现智能异常网络流量检测的原型系统并验证其在大规模网络流量环境下的可靠性和实用性。本文工作有力的推动了网络安全领域相关深度学习模型的落地和应用。