基于机器学习的网络流量异常检测技术研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:m168471863
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,网络攻击越来越复杂多样,传统网络攻击检测方法存在着诸多问题与挑战,例如检测率低、无法检测未知网络攻击等。机器学习的应用为提高网络攻击检测效果提供了可能,研究更加有效的基于机器学习的网络异常检测技术具有重要的理论意义和实用价值。本文在现有研究基础上,针对不同的应用场景,分别使用有监督学习和无监督学习技术,提出了两种基于机器学习的网络流量异常检测算法。主要工作及成果如下:(1)针对能够收集大量网络流量数据并进行标记的应用场景,本文提出了一种基于分类器选择—加权投票集成学习(CS-WV Ensemble Learning)模型的网络流量异常检测算法。该模型首先对差异性度量方法进行改进,并根据改进的差异性度量方法提出分类器选择算法,算法根据每个基分类器的预测精度以及基分类器之间的差异性从候选分类器中挑选出适合作为集成学习的基分类器;然后对加权投票算法进行完善,把每个基分类器的准确率作为权重,并对分类器选择算法选出的三个基分类器(Logistic Regression,K Neighbors,Decision Tree)进行加权投票集成,取得分最高的类别作为集成学习的最终结果。实验结果表明,本文提出的CS-WV Ensemble Learning模型在天然气管道数据集上的Accuracy、Precision、Recall和F1-Score分别为98.87%、98.69%、93.54%和96.05%,AUC值为0.97,相比其他算法显著提高了异常检测的准确率,减小了误报率。(2)针对拥有大量未标记网络流量数据的应用场景,本文提出了一种基于遗传算法的改进K-Means网络流量异常检测模型。该模型首先对遗传算法进行改进,其中选择算法使用精英保留策略和二次选择相结合的算法,同时改进交叉概率和变异概率,使其能够根据适应度值进行自适应改变;然后将该遗传算法与K-Means算法相结合,使得K-Means算法能够在迭代的过程中自动确定K值和每个簇的聚类中心,而无需在训练前确定K值,并将聚类结果的输出作为异常检测的结果。实验结果表明,本文提出的基于遗传算法的改进K-Means模型在CIC-IDS-2017数据集上的Accuracy、Precision、Recall和F1-Score分别为93.522%、95.438%97.548和F1-Score为96.481%,相比其他无监督算法显著提高了异常检测的准确率,减小了误报率。
其他文献
<正>时间:2020年1月地点:四川师范大学咖啡厅受访者简历冯毓嵩,1940年生,祖籍浙江绍兴,儿时曾居台湾,1948年随父返上海;1959年毕业于中央美术学院华东分院附中(现国美附中),同年应国家需求分配到上海美术电影制片厂担任动画设计,曾参与《画廊一夜》《母鸡搬家》等三十余部动画片的制作;
期刊
随着网络技术的不断发展,激增的多样化新型网络应用对网络数据传输中的时延、丢包率和链路利用率等指标提出了差异化的需求,如何基于服务质量(Quality of Service,QoS)需求给不同场景、不同应用类型制定合理的路由成为亟待解决的问题。传统网络架构存在灵活性较差、全局网络视图有限等问题,难以及时、灵活地保障不同应用的QoS。因此本文基于软件定义网络(Software Defined Netw
学位
近年来,由于大规模新能源接入所造成的电力系统能源结构的调整与变革,互联微电网技术得到了大力发展。然而,互联微电网规模较大且模型复杂,呈现高维非线性特点,难以精确建模。此外,用于数据传输的通信网络具有开放性,这使得互联微电网极易遭受恶意的网络攻击。鉴于此,本文旨在从攻击类型、系统建模、稳定性分析和控制器设计等方面研究网络攻击环境下直流微电网系统的安全控制问题,利用状态反馈控制律和模糊控制理论,建立拒
学位
人脸合成技术是指通过给定的人脸图像来合成另外一种形式的人脸图像。该技术在刑事侦查、动画娱乐、人脸验证等众多领域都有重要的研究意义和应用价值。随着机器学习技术的迅速发展和人工智能时代的来临,人脸合成技术取得了突破性的进展,但是合成人脸图像器官扭曲变形、细节特征保持不佳、局部区域模糊等问题依然存在。面对以上技术难题,本文分别从跨年龄人脸合成和人脸素描-照片合成两个方向展开对人脸合成关键技术的研究,具体
学位
随着社会信息化建设的不断推进,为了解决项目评审中时间长、效率低,且疫情共存时代无法线下答辩的问题,本文设计并实现了基于Web RTC和人脸识别的在线项目评审系统。本系统可以在不安装任何客户端、插件的情况下,完成项目评审流程中的所有环节,并实现了包括人脸识别登录验证、Web端视频会议等功能。本文主要的研究和工作如下:(1)针对Web端的视频会议技术展开研究,设计并实现了基于Web RTC的实时音视频
学位
网络流分类是网络管理领域一个重要的研究课题,常被用于流量工程、服务质量保证等任务。为了能够更好的区分不同的网络应用,提升服务质量和用户使用体验,对网络流分类的算法设计就显得格外重要。对于基于机器学习的流分类方法,统计特征虽然能够取得很好的效果,但特征选择的过程较为费时,而深度学习算法能够自动且更深层次的提取特征。现有基于深度学习的方法大多是对网络流量的原始字节进行处理,而原始字节包含较多的冗余和混
学位
在云边聚合计算场景下,边缘服务器部署的基站、路由器以及网关等设施都是可公开访问的基础设施,其安全性得不到保证,用户的隐私数据容易遭受巨大威胁,需要采取手段保障用户隐私安全。在边缘云中,由于需要为众多的边缘端设备提供支持,大量服务会被部署,从大量的服务中选择最优的服务组合方案是迫在眉睫的任务。而现有的云服务提供商难以承担用户的隐私保护责任,用户都不会实际拥有自己的数据,因此需要设计一种数据访问控制方
学位
针对我国人口超低生育率、老龄化加剧、性别比失衡以及生育意愿较弱的人口现状,以及由此产生的劳动人口比率下降以及养老负担加重等问题,这就需要我们对计划生育体制进行深入的思考。生育既是个人的生殖活动,也是国家繁荣发展的战略需求。因此,生育制度的保障需要依赖个体、社会和国家三方的有效协作,才能落实符合我国当下人口国情的生育制度。我国超低生育率的出现,究其原因,是我国育龄妇女的总量也在减少、生育成本的快速增
学位
在网络流分类实践中,网络运营商通常只需要知道网络流所需的服务类别(Class of Service,CoS),就可对网络流优先级和资源分配做出决定。为了满足用户对体验质量的需求,采用了面向服务等级的网络流多任务分类方法;该方法是直接进行面向CoS的流分类,而不需要推断应用类型。本文提出面向服务等级的多任务学习框架,利用领域知识定义宏特征组及应用合作博弈中的Shapley value模型和皮尔森相关
学位
软件定义网络(Software Defined Network,SDN)是在网络规模迅速扩大,流量爆炸式增长的挑战环境下提出的一种新型网络体系结构。在这种网络环境下,如何有效保障服务质量(Quality of Service,QoS)成为研究的关键问题。得益于它的控制与转发功能分离,逻辑上的集中控制以及支持网络可编程性等优势,SDN在下一代互联网领域有着广阔的应用前景。然而SDN控制器部署位置可以
学位