基于Web应用的日志异常检测与用户行为分析研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:sam_rao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
移动互联网的飞速发展和移动设备的普及使得移动应用和网页的数量都在爆炸式增长,推动着服务器、后端Web应用的蓬勃发展,Web应用成为人们获取互联网信息服务的重要入口和支撑。伴随着互联网渐渐渗透人们的生活,人们对互联网应用的服务质量、用户体验、安全状态等要求也随之提高。应用开发商和网站运营者争先将互联网产品投入市场的同时,也非常注重产品优化以提高用户黏性,其中如何收集产品运行过程中的日志数据,分析产品性能、检测异常状态、挖掘用户特点,以进一步提高运行性能、改善服务质量、提供个性化服务,是一个非常重要的研究方向。
  本文针对Web应用的性能及安全监控和用户行为研究的现状和技术基础,搭建访问日志采集与分析平台,实现Web应用的运行状态监控、日志异常检测以及用户行为分析,主要包括以下四个部分工作:(1)研究访问日志的采集以及数据预处理方案,实现Web应用基础运行数据的统计分析,并通过可视化图表的方式展示分析结果。(2)应用支持向量机进行日志异常检测,为了达到良好的检测效果,进行多方面的研究工作,包括研究针对Web日志请求URL的特征提取方法,通过统计分析手段对比正常请求语句、SQL注入语句、XSS注入语句的特点,基于三者之间的差异进行特征选择和提取,提出一个三层SVM检测模型;结合网格搜索和K重交叉验证法寻找最优参数;对数据集的特征属性归一化处理。最后通过实验证明这些方案有效提升了分类效果,三层检测模型具有一定的应用意义。(3)提出一种结合用户聚类算法和关联规则挖掘的分析流程来对用户访问行为进行分析。从日志中提取用户访问兴趣特征,建立用户访问偏好度模型,提出一种初始点选取优化的K-Medoids算法并应用于用户聚类,根据用户访问兴趣的相似程度划分用户群。进一步地,应用前后件约束改进的FP-Growth算法挖掘同一群体用户中网页的关联性,探究页面之间的链接关系的合理性。(4)设计平台整体架构和运行流程,结合当下流行的微服务,提供基于Dubbo和Docker的平台搭建方案。最后通过案例验证研究方案的可行性和有效性。
其他文献
该文对瞬时无功理论在三相四线制系统中应用和三相四线并联型有源电力滤波器的设计进行了深入探讨,为其实用化设计奠定基础.该文主要研究以下两方面的内容:第一部分瞬时无功理论应用于三相四线有源电力滤波器研究.主要内容有:对瞬时无功理论在三相三线与三相四线系统的应用特点加以讨论,指出瞬时无功理论能够从三相三线推广到三相四线系统中去,且在进行指令电流的计算时无需对零序电流进行分离.应用空间矢量变换和对称分量法
学位
金融市场被认为是世界经济的核心,在这个世界上,每天都有数十亿美元的交易。很明显,这对市场未来行为的良好预测和对交易者来说都是非常有价值的。然而,由于这些市场的动态和嘈杂行为,做出这样的预测也是一项非常具有挑战性的任务,多年来一直都是研究的主题。从股票市场起步以来,准确预测股票价格一直是投资者追求的目标。只有能够做出正确买卖决策的投资者最终才能获得利润。为了做出正确的决定,投资者必须根据技术分析做出
学位
在日常生活中,图像信息是人们获取外界信息方式的重要组成部分,而图像的分辨率又极大的影响着图像质量的好坏,如何获取高分辨率的图像显得至关重要。但在实际应用场景中,由于采集图像的过程受成像系统与成像环境等诸多因素限制,获取理想高分辨率(HR,HighResolution)图像有时存在一些困难,而单方面提升图像采集设备的质量虽然能一定程度的缓解这类问题,但提升硬件不仅成本高昂,而且在一些特定的环境下能以
学位
不论是工农业生产还是日常生活,库房都是人们工作生活以及物品存储的重要场所。关于库房环境事故带来的重大人员伤亡以及财产损失的报道屡见不鲜,库房环境问题给人们的工作和生活带来了极大的安全隐患。因此,库房环境的实时监控与智能化管理对于社会的发展显得极为重要。  基于此,本文提出了一套基于Modbus-RTU协议的库房环境实时监控系统。系统集环境参数采集、实时数据处理、实时报警控制以及友好界面等功能于一体
学位
[db:内容简介]
在非线性系统控制领域目前存在两种较为成熟的控制方法,分别为反馈线性化方法和反步控制法。本文的研究对象为一类不能通过这两种方法实现稳定性控制的非线性系统,具体又可分为仿射系统和非仿射系统两种情况。由于这一类系统的一般性和复杂性,相关研究在控制文献中较为少见,且主要研究的是最基本的针对精确模型的状态反馈控制问题。当所研究的被控系统为仿射形式时,现有的方法主要有:1)互联阻尼配置无源控制(Inter-c
当前,共享经济作为一种新的经济模式已经在许多行业得以实施,并有效提高了商品价值的最大化利用。承运者协同运输是共享经济模式在运输行业中的一种延伸和应用,通过相互独立的运输实体之间共享运输资源和任务信息,共同承担客户需求。在激烈竞争的运输市场中,相比传统的承运者独自运营的运输模式,协同运输能够使得承运者进一步降低成本,提高自身的利润收益和运输效率。同时,这种协同模式能够避免承运者之间恶意竞争,提高承运
学位
学位
随着人工智能技术的迅猛发展,机器已具有通过人脸图像,“理解”人类情感的能力。实现这种能力的方法就是基于机器学习的人脸表情识别,目前的主要应用有人机交互、安全安防、医疗健康等。人脸表情识别有7种基本类别,由愤怒(anger)、高兴(happiness)、悲伤(sadness)、惊讶(surprise)、厌恶(disgust)、恐惧(fear)和平静(neutrality)组成,因此人脸表情识别可用机
作为物联网产业结构的关键组成要素,物联网平台既要面对海量异构设备的接入需求,也要在设备、用户和云端之间搭建高效稳定的交互通道。因此,物联网平台既需要满足可扩展性,以支持新的异构协议设备的接入,也需要满足可用性,为大量设备和用户的交互提供良好的服务质量。结合微服务架构和Docker容器技术对物联网平台进行构建和部署,是实现平台可扩展性和可用性的可行方案。本文以笔者所在研究课题组的EMCloud物联网