企业中信息安全很重要,在现代网络信息化大潮下,尤其是其中的入侵检测面临巨大挑战。大数据和人工智能等技术的兴起,一方面有助于信息安全的加固,相反也给信息安全带来非常大的挑战,因为黑客们也可以利用该技术来加强其进攻能力。传统的做法,无论是检测病毒,防范入侵,还是其他类型的攻击,本质上用的是特征标识的方法,把各种各样的发生的入侵的特征集成一个特征库集,当信息进来以后,如果匹配了这个特征库中的某个特征,就判断是入侵。依人工智能角度来看,基于特征标识的入侵检测是一个简单的专家系统,特征库构成知识库,首选通过人工的编程方法把特征写入知识库,然后对输入信息的特征进行匹配,匹配上了就算识别到了入侵。这个专家系统实现简单,但是没有推理能力,不能应对后续的新类型的入侵。现在基于大数据海量特征结合自然语言处理、深度学习等技术,提供了一种解决入侵检测的新思路。本文的主要工作及成果如下:1.提出了基于实时数据计算引擎Spark Streaming的海量日志收集方法:本方法利用改造后的Flume做为日志采集的Agent实现实时海量日志的采集,可根据操作系统提供的资源占用情况做自适应、动态调整采集速度,在保证应用系统正常工作的同时兼顾日志采集的实时性和高效性。使用Spark Streaming作为实时计算引擎,从海量数据中快速提取入侵相关的特征数据,结合调度和管理工具实现稳定的第一手日志的收集和处理,为后面的数据处理做好准备。2.提出了一种基于词向量模型的高阶特征提取方法:本方法选取知名的Word2Vec算法,利用收集到的海量数据作为训练预料,采用短期增量训练,长期全量训练,达到提取入侵检测的词向量模型的目的,该词向量在经过大量训练收敛以后可以将文本转化成词向量,从而为下一步处理做好准备。3.研发了基于深度学习与文本处理结合的入侵检测模型:将标记好的历史数据作为训练集,使用基于NLP(自然语言处理)的文本处理技术,对文本数据做泛化预处理、分词、嵌入式词向量(Word2vec)模型;最后使用Tensor Flow建立循环神经网络进行训练生成入侵检测模型。本文以工程化的设计思路,从需求分析、算法实现、算法优化,算法集成、前台软件设计、后台软件设计、前后台集成等介绍技术的实现过程。