基于深度学习的异常网络流量检测算法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:abcd_11840
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着新一代创新技术的快速发展与广泛应用,现有的信息安全模式和理念正在面临极大的挑战,日趋复杂严峻的安全形势严重制约了我国社会信息化、数字化、网络化的进一步发展。“十四五”时期主要目标任务中强调要坚持总体国家安全观,加强国家安全体系和能力建设。作为网络空间安全和攻防对抗中至关重要的一环,异常网络流量检测系统能够实时侦测、监控、追踪和过滤可疑流量与连接,及时有效地发现、识别和防御强对抗环境下的潜在威胁与高级持续性威胁。因此,异常检测研究已经成为各军事大国关注的重点,是未来国际信息技术领域争夺的重要战略高地。
  近年来,在自然语言处理和计算机视觉等应用领域中深度学习取得了大量革命性的突破成就,这为异常网络流量检测的研究提供了新的思路。由于传统的浅层学习方法无法适应网络流量的动态增长,不能满足大规模高维流量数据的智能分析及预测的需求,因此针对流量数据的特点设计快速高效的异常检测算法已成为网络安全领域中亟需解决的问题。本文基于深度学习方法对网络入侵检测展开研究,选择异常检测问题作为研究目标,重点研究异常网络流量的智能化识别,以减少安全从业人员的工作量和增强安全系统的网络态势感知能力,为我国网络安全技术体系的提升和网络强国战略的建设提供有力支撑。
  本文工作贡献主要包括以下三部分:
  (1)针对网络流量数据中存在的有效异常样本数量较少等问题,提出一种无监督异常检测模型——单类长短期记忆网络(One-Class Long Short-Term Network,OC-LSTM)。该模型是一种端到端的单分类神经网络,其特殊设计的损失函数等效于单类支持向量机的优化目标,能够在仅有正常类型数据的情况下创建围绕数据的紧密包络以实现异常检测的任务。通过直接采用表示学习的目标进行异常检测,OC-LSTM可以直接处理原始数据,而无需使用无监督的迁移学习做进一步的特征提取。这将有助于辨别大型数据集中的复杂异常,尤其是当正常和异常之间的决策边界是高度非线性的时候。在三个大型网络安全数据集上进行的一系列对比实验令人信服地证明,OC-LSTM可以在合理的训练时间下达到比现有最先进的单分类异常检测方法更好或相当的性能。
  (2)在有监督异常检测方面,为了有效地改善对网络流量数据盲目使用深度神经网络(Deep Neural Network,DNN)的现状,提出了一种实用的、系统性的基于结构化数据处理系统(Structured Data Processing System,SDPS)的深度异常检测(Deep Anomaly Detection,DAD)模型SDPS-DAD,通过综合多种处理方法使得数据更适用于深度神经网络训练,进而提高分类器的异常检测性能。SDPS拥有较低的复杂度和较强的普适性,其特殊设计的数据增强、特征选择、网络架构选择等模块能有效的解决当前在结构化数据上直接使用DNN导致的训练效率较低和效果较差等问题。之后,以异常网络流量数据为例,本文设计一系列消融实验验证SDPS-DAD模型中各模块的有效性。在两个测试数据集上的对比实验有力地证明,仅使用简单的分类网络,SDPS-DAD就能够获得比其他复杂先进方法更优越的检测性能。该模型可以显著提升深度神经网络处理结构化数据的能力,为深度学习应用领域的拓展提供有效参考。
  (3)为了验证提出的异常检测方法的实用性,推动深度学习模型的落地应用,本文完成了智能异常网络流量检测动态监控系统的综合设计与实现。首先在前期需求分析与总体设计的基础上构建出系统的整体框架,之后详细阐述各模块的设计与关键流程的实现,最后完整实现智能异常网络流量检测的原型系统并验证其在大规模网络流量环境下的可靠性和实用性。本文工作有力的推动了网络安全领域相关深度学习模型的落地和应用。
其他文献
双目视觉技术在计算机视觉领域中仍然属于较火热的研究课题,其在三维重建、机器人实时导航以及自动驾驶中有着广泛的应用。立体匹配在双目视觉中具有举足轻重的地位,其匹配结果的精度将直接影响最终视差图的精度,因此提高双目视觉中立体匹配的精度对促进双目视觉技术的发展有着重要意义。本文主要研究了如何将卷积网络应用在立体匹配中,并改进了网络结构和后处理方法,提高了算法性能,本文主要工作分为以下方面:  (1)对双
三维点云因其强大的三维空间表征能力,近年来被广泛应用于如自动驾驶、数字博物馆、机器人、医学等领域。三维点云是可由三维扫描设备或摄像机等获取到的能够描述物体表面特征信息的由海量点组成的集合,每个点一般包含几何位置及颜色信息,且点和点之间不存在拓扑关系,没有顺序,因此能否通过有限的网络带宽快速的将三维点云数据传输到用户终端中是解决三维点云数据能否实地使用的先决条件,如何有效的对点云数据进行压缩成为解决
学位
随着智能手机的普及以及物联网的兴起,移动设备数量以前所未有的速度增长。人们对于无线网络的速度和质量有了更高要求,现有的网络通信技术已无法满足人们的需要。具有高可靠性、低时延、高吞吐量等特性的第五代移动通信技术,极大满足了万物互联时代的通信需求。毫米波通信作为5G的关键技术之一,极大地缓解6GHz以下即将耗尽的频谱资源。然而毫米波在传输过程中有着严重的路径损耗,为了使得毫米波实现几百米范围内的通信,
学位
广域网(Wide Area Network,WAN)作为将不同地域的网络系统连接起来的远程网络,在整个计算机网络的体系中扮演着重要的角色。近年来,各种新的网络应用呈现井喷式发展,网络流量持续增长,传统的网络流量调度方法难以满足当前的网络需求。软件定义网络(Software Defined Network,SDN)架构的出现为网络优化打开了新窗口。通过将控制平面集中起来,获取全网视图,可以对流量进行
随着5G万物互联时代的到来,移动通信业务量呈现出爆炸性的增长趋势,多输入多输出-正交频分复用(Multiple Input Multiple Output-Orthogonal Frequency Division Multiplexing,MIMO-OFDM)技术由于能够显著提高频谱效率和增强系统可靠性而被广泛研究。信号在无线信道传输时会受到多径衰落、多普勒扩展、加性高斯白噪声(Additive
在信号处理中,滤波器可以用来提取或去除信号中的某些频域成分。由于易于设计实现,应用起来便捷高,数字滤波器被广泛的应用到各种信号处理领域。在一些数字信号处理领域,如数字通信系统中的信号处理、音频信号处理、生物医学信号处理等,需要具有可变频谱特性的滤波器对信号频谱进行动态的操作。这些种滤波器的实现离不开具有可变带宽的可变滤波器。较宽的带宽可变范围,较低的复杂度,灵活的参数控制是可变滤波器的设计目标。 
近年来,深度学习在计算机视觉领域取得了前所未有的成功。目前绝大多数的应用都深度依赖于大量的标签数据,这极大限制了深度神经网络的适用性。与主流的神经网络训练方法不同,一个普遍的共识是人脑的学习主要以无监督的方式进行,而监督信息则通过反馈的方式强化神经学习。尽管我们并不完全理解人脑的工作机制,但我们的目的是探索像人脑一样无监督学习的方式,它可以从大量无标签视觉内容中自动提取丰富的抽象特征,提升智能视觉
学位
近二十年来,无线通信技术有了质的飞跃,2G、3G等蜂窝移动通信网络技术已经慢慢淡出人们的视野,4G网络普及的同时,2019年第一个5G商用网络成功部署,随后5G网络也如雨后春笋般破土而出。国际电联组织的5G商用频谱范围可划分为Sub6GHz和毫米波频段。目前国内5G网络所采用的频段仍然是Sub6GHz频段,而毫米波段的研发、测试和应用也在稳步开展。5G网络主要部署场景包括室内热点、市区宏蜂窝、市区
当今社会人们的工作压力大,再加上饮食不规律、缺乏运动等不良生活方式,使得心血管疾病频发。心脏超声作为医生诊断心脏疾病的重要手段,能够直观的显示病人的心脏解剖结构和症状。基于此研究背景,如何利用计算机快速准确的处理心脏超声成为一大研究热点。近年来,深度学习算法的突破与发展极大的推动了各研究领域的变革,如汽车无人驾驶、情感识别和人脸识别等。将深度学习算法应用到心脏超声影像中能够辅助医生进行诊断、给出治
学位
目前,中国0~14岁儿童的数量约为2.2亿,其中弱视的发病率约为2%-3%。弱视严重影响儿童的日常生活,阻碍儿童身心健康发展,给儿童及其家庭造成无尽的困扰和伤害。现代医学研究表明,弱视患者接受治疗的时间越早视力恢复效果越好,12岁以下的弱视儿童经过及时治疗完全可以恢复正常。因此,实现弱视儿童早期鉴别具有非常重要的意义。作为新兴的脑功能成像技术,功能近红外光谱成像技术(Functional Near
学位