近年来,随着多步攻击向精细化、智能化方向发展,网络安全形势越发严峻,传统的多步攻击检测和防御体系正面临着新的挑战。随着大数据技术的应用,数据价值不断增长,数据泄露事件呈上升态势,因此,研究能够适应新形势的多步攻击检测和防御技术具有重要意义。本文针对现有技术在多步攻击检测各个阶段的不足展开研究,分别从告警预处理阶段、入侵会话验证阶段、入侵场景构建阶段提出一系列解决方法,使多步攻击检测技术更加适应流数据的分析要求,实现新一代轻量级、智能化的多步攻击检测系统。本文的主要工作和创新点包括以下几个方面:1、在告警预处理阶段,提出数据归并、删除冗余和噪声的新方法。本文针对现有告警处理技术因为过早使用聚类或数据挖掘等方法而导致入侵逻辑遭到严重破坏的问题,提出了一系列新的告警预处理方法:基于告警“强关联性”的入侵动作抽取方法、基于时间约束的入侵会话重建及修剪方法,这些方法在告警预处理阶段,有效保证了入侵逻辑的完整性,同时,大大降低了噪声和冗余数据对后续各阶段的影响。比如,所提出的入侵动作抽取方法,充分利用告警的“强关联性”,按指定策略将原始告警分组,从而抽取入侵动作,避免打乱入侵动作的时间顺序;所提出的入侵会话生成方法,通过统计入侵动作的时间间隔来确定入侵会话的结束点,从而有效避免中断会话;而会话修剪方法可以迭代地移除会话中重复、冗余的动作和模式,最大限度地保留了会话的核心逻辑。实验结果表明,这些方法不仅可以准确地从原始告警中抽取入侵动作进而形成会话,还可以避免破坏入侵逻辑,大幅减少冗余和噪声数据,其性能表现优于现有方法。2、在入侵会话验证阶段,提出基于“影响力”模型的会话验证和修正方法。本文针对会话中所包含的随机噪声、动作次序错乱和动作缺失等会话问题,提出一种会话验证方法。该方法通过建立入侵动作之间的“影响力”模型,来分析和发现潜在的会话问题,并通过计算综合影响值来修正会话。实际上,从原始告警中抽取的入侵会话并不一定反映真实的入侵过程,因为会话中可能引入了大量随机噪声、动作次序错乱等问题,这些问题很难在告警预处理阶段被发现,因此,需要对入侵会话进一步验证和修正。基于“影响力”的模型会计算某个动作对其影响范围内的其他动作的影响值,而不像传统方法只关注相邻两个动作之间的相互关系。实验结果证明,该方法对于受环境破坏的入侵会话具有很好的验证和修正效果。3、在入侵场景构建阶段,针对现有智能算法不能很好地适应在线序列学习的要求,本文提出一种基于层级实时记忆脑皮质学习算法（Hierarchical Temporal Memory Cortical Learning Algorithm,下文简称HTM算法或脑皮质学习算法）的入侵场景构建方法。HTM算法有很强的抵御噪声的能力,具有优秀的持续在线序列学习的能力,非常适合分析入侵会话。为能够充分利用HTM算法的优势,本文对HTM进行了一些改进:首先,针对算法输入空间较小的问题（可表示的数据类型较少）,提出一个有效扩充输入空间的编码方法;然后,针对HTM模型随着数据迁移过快的问题,本文提出入侵动作关联矩阵来延长HTM的“短期记忆”。另外,本文提出多个关联矩阵搜索策略,不同的策略可以生成不同的多步攻击场景,增加了系统的灵活性。实验结果表明,本文提出的方法能够对入侵会话进行连续地在线分析,并根据搜索策略构建入侵场景（或关联图）,所建立的关联图节点少,动作关系简单,能更准确地反映真实的入侵场景。总之,本文在分析现有多步攻击检测方法的基础上,分别针对告警预处理阶段、会话验证阶段和入侵场景构建阶段存在的问题提出了相应的解决方法。这些方法提高了在线多步攻击检测系统的性能,具有一定的实用价值。