论文部分内容阅读
移动互联网的飞速发展和移动设备的普及使得移动应用和网页的数量都在爆炸式增长,推动着服务器、后端Web应用的蓬勃发展,Web应用成为人们获取互联网信息服务的重要入口和支撑。伴随着互联网渐渐渗透人们的生活,人们对互联网应用的服务质量、用户体验、安全状态等要求也随之提高。应用开发商和网站运营者争先将互联网产品投入市场的同时,也非常注重产品优化以提高用户黏性,其中如何收集产品运行过程中的日志数据,分析产品性能、检测异常状态、挖掘用户特点,以进一步提高运行性能、改善服务质量、提供个性化服务,是一个非常重要的研究方向。
本文针对Web应用的性能及安全监控和用户行为研究的现状和技术基础,搭建访问日志采集与分析平台,实现Web应用的运行状态监控、日志异常检测以及用户行为分析,主要包括以下四个部分工作:(1)研究访问日志的采集以及数据预处理方案,实现Web应用基础运行数据的统计分析,并通过可视化图表的方式展示分析结果。(2)应用支持向量机进行日志异常检测,为了达到良好的检测效果,进行多方面的研究工作,包括研究针对Web日志请求URL的特征提取方法,通过统计分析手段对比正常请求语句、SQL注入语句、XSS注入语句的特点,基于三者之间的差异进行特征选择和提取,提出一个三层SVM检测模型;结合网格搜索和K重交叉验证法寻找最优参数;对数据集的特征属性归一化处理。最后通过实验证明这些方案有效提升了分类效果,三层检测模型具有一定的应用意义。(3)提出一种结合用户聚类算法和关联规则挖掘的分析流程来对用户访问行为进行分析。从日志中提取用户访问兴趣特征,建立用户访问偏好度模型,提出一种初始点选取优化的K-Medoids算法并应用于用户聚类,根据用户访问兴趣的相似程度划分用户群。进一步地,应用前后件约束改进的FP-Growth算法挖掘同一群体用户中网页的关联性,探究页面之间的链接关系的合理性。(4)设计平台整体架构和运行流程,结合当下流行的微服务,提供基于Dubbo和Docker的平台搭建方案。最后通过案例验证研究方案的可行性和有效性。
本文针对Web应用的性能及安全监控和用户行为研究的现状和技术基础,搭建访问日志采集与分析平台,实现Web应用的运行状态监控、日志异常检测以及用户行为分析,主要包括以下四个部分工作:(1)研究访问日志的采集以及数据预处理方案,实现Web应用基础运行数据的统计分析,并通过可视化图表的方式展示分析结果。(2)应用支持向量机进行日志异常检测,为了达到良好的检测效果,进行多方面的研究工作,包括研究针对Web日志请求URL的特征提取方法,通过统计分析手段对比正常请求语句、SQL注入语句、XSS注入语句的特点,基于三者之间的差异进行特征选择和提取,提出一个三层SVM检测模型;结合网格搜索和K重交叉验证法寻找最优参数;对数据集的特征属性归一化处理。最后通过实验证明这些方案有效提升了分类效果,三层检测模型具有一定的应用意义。(3)提出一种结合用户聚类算法和关联规则挖掘的分析流程来对用户访问行为进行分析。从日志中提取用户访问兴趣特征,建立用户访问偏好度模型,提出一种初始点选取优化的K-Medoids算法并应用于用户聚类,根据用户访问兴趣的相似程度划分用户群。进一步地,应用前后件约束改进的FP-Growth算法挖掘同一群体用户中网页的关联性,探究页面之间的链接关系的合理性。(4)设计平台整体架构和运行流程,结合当下流行的微服务,提供基于Dubbo和Docker的平台搭建方案。最后通过案例验证研究方案的可行性和有效性。