随着Web技术的发展,互联网中每时每刻都在产生着大量的数据,如何从这些数据中挖掘出有价值的信息和规律无疑是一个研究热点,但数据中混杂的异常数据严重影响着数据的挖掘质量。不仅如此,异常数据往往还代表着可能存在的安全威胁,其本身也存在着待挖掘的价值。为了提高应用系统的安全性和数据挖掘的质量,如何从大量数据中发掘异常信息是一个亟需解决的问题。在离线环境下,现存的异常检测技术面对现实环境中无标签的真实数据难以发挥作用。在在线环境中,Web数据处于不断更新中,现有的技术可能难以及时的对异常数据进行检测和定位。因此,构建完整高效的异常检测模型对提高数据挖掘质量和系统安全具有重要的意义和价值。针对以上问题,本文应用多种机器学习方法构建了完整的异常检测方案。本文的解决方案主要包括以下几点:(1)提出了会话特征相似性异常检测算法:SFAD。该方法针对Web序列数据构建相似性矩阵,并根据模糊聚类的λ切割方法分离出可疑用户,通过多个滑动窗口的检测最终从可疑用户中检测和定位异常用户。(2)提出了基于Min-Hash和LSTM的异常检测MH-LSTM算法。该方法采用Min-Hash方法从Web序列数据中提出数据特征,将提取的特征放入设计好的LSTM网络中进行训练。通过滑动窗口的方式将待检测的在线数据进行分割,针对窗口内的数据采用训练好的LSTM网络检测,实现对异常数据的检测定位。(3)提出了完整实用的异常检测模型。在线环境中,数据的分布变化问题容易导致在线模型的准确性下降。本文将离线模型和在线模型进行结合,采用增量更新的方式对模型进行更新。离线模型检测数据分布供在线模型更新以解决可能发生的数据分布的变化问题。实验表明,本文提出的离线异常检测模型检测率在98%左右,在线异常检测模型检测率在97%左右。完整的异常检测模型能够有效的应对分布问题并保证一定的异常检测率。