论文部分内容阅读
互联网的普及在造福人们的同时,也带来了巨大的安全隐患。不断升级的网络入侵行为可能会导致个人隐私泄露、系统瘫痪等一系列重大安全问题。相关入侵检测技术已日臻完善,诸如机器学习等新技术的使用解决了传统入侵检测中存在的方法僵化、自适应性差等问题,同时也在一定程度上提高了检测率。但机器学习算法自身的局限性使得现有解决方案仍面临两大主要问题:一是如何在不断变化的网络环境中定义包含所有正常行为的正常区域;二是如何快速高效地从海量网络流中识别入侵行为。另外,亟待解决的问题不止是检测技术的改进,还有入侵检测系统在现实世界的实际部署。现有研究大多专注于组合算法模型来提高检测率,而很少考虑到实际的计算资源的消耗和计算能力的限制。针对以上问题,本文基于本福特定律并结合机器学习算法,提出Filter-XGBoost混合入侵检测框架。本文主要的研究内容有以下两点:(1)针对传统的异常检测方案难以定义正常网络流量轮廓的问题,提出利用本福特定律来定义区分正常和异常流量的一般规则,并将其运用于构建一个基于固定阈值的异常检测模型。针对静态阈值缺乏灵活性,可能无法应用于不同网络场景的问题,本文同时提出一种基于CUSUM和EWMA的自适应阈值检测方案。实验结果证明,两种方案都具备对正常网络流量的良好识别能力,而自适应阈值方案对比固定阈值检测方案具有更高的灵活性和检测精度。同时该方案通过对基于窗口的多条流进行检测,能够有效缩短检测时间,从而能够有效地应对海量数据的输入。(2)对单独的阈值检测方案只能实现窗口层面的粗粒度的检测的问题,同时考虑到XGBoost的良好的扩展性和强大性能,本文提出分层混合入侵检测框架Filter-XGBoost。该检测框架第一层为基于自适应阈值的检测模型,第二层为基于贝叶斯优化算法(BOA)的XGBoost检测模型对第一层中的异常窗口进一步分析以实现精确到单条流的细粒度检测。与单独的检测模型对比,Filter-XGBoost充分结合了两种检测模型各自的优点。与其他算法对比,Filter-XGBoost在一定程度上提升了检测率和误警率。