WEB缓存技术与预取技术的研究

来源 :华东理工大学 | 被引量 : 0次 | 上传用户:wcbcni22
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
缓存技术是减轻服务器负载、减少网络拥塞、降低客户访问延迟的有效途径。但仅使用Web缓存技术作用有限。为提高缓存系统的性能,引入了Web预取技术,于是选择哪些数据源进行研究以及该把哪些数据作为缓存预取的对象成为研究的关键问题之一。 网站的Web日志是客户访问最真实的反映,日志记录能够详细描述客户的访问信息。采用Web日志作为最初的数据源,利用客户连续请求的时间概率关系、客户进入网站开始会话的方式以及客户进入网站后浏览页面的关系,我们提出了基于日志引用页面、请求时间、页面间“请求距离”的数据清洗、用户识别、会话识别以及事务识别算法,对文本文件与数据库之间的转换进行了研究和实现。利用Bash Shell与Java程序各自的优点,采用两者相结合的处理方式来对数据预处理各阶段进行实现。 经过数据预处理之后,根据客户访问的时间局部性和空间局部性原理,利用数据挖掘工具—关联规则挖掘进行页面规则挖掘;通过设置可信度以及支持度等参数,选用实际运作网站的训练数据集进行规则挖掘,生成规则库,再选用测试数据集来测试这些规则的性能;然后采用无序页面关联规则以及有序页面关联规则挖掘进行分析与测试,验证结果表明:在同等条件下应用本文提出的缓存预取方法能够显著提高缓存命中率。
其他文献
网络的繁荣带动了电子商务产业的发展,其作为一种新型的商业运作模式正以惊人的速度发展,并成为推动全球经济增长的重要力量。电子商务利用Internet、计算机网络及无线通信等信
随着信息技术的飞速发展,企事业单位对信息系统的依赖性越来越大,信息的保密性、完整性、和可用性显得尤为重要,这正是信息安全所要管理保障的内容。信息安全管理系统通常通过问
随着计算机技术的不断发展,计算机领域进入了新的阶段一后PC时代。嵌入式设备正越来越多的进入到人们的日常生活之中。从工业控制,到网络设备,从信息家电到个人终端到处都可以见
学位
作为自然语言处理(Natural Language Processing, NLP)领域的一个核心问题,高性能句法分析在NLP应用领域中发挥了重要的作用。由于句法规则很难穷尽,而且对汉语真实语料的处
近年来,大规模不平衡数据集的分类已经成为机器学习领域的一个难点与热点,越来越多的专家专注于这一方面的研究。大规模指待学习的样本数量非常大,通常情况有几万几十万个甚至几
人脸的识别和分析可以广泛地应用在个人身份识别、安检、人机交互、表情分析、唇读等领域。人脸的检测定位是人脸识别技术的一个重要组成部分,其目标是在图像或图像序列中搜索
随着科学技术的进步,各个领域的科研工作者能够获取的信息量越来越大。大量的信息给科学研究带来了数据处理上的困难,因此人们需要探讨一些信息处理的工具。从而人工智能领域
P2P(Peer-to-Peer)网络是建立在互联网之上的覆盖网络,它通过节点之间的相互协作实现系统功能,从而充分利用了边缘网络资源,具有良好的扩展性、自组织性和匿名性等特点。目前,P2P
H.264标准是由国际电信联合会和国际标准化组织共同发展的下一代视频压缩标准。H.264/AVC视频压缩标准采用了很多新技术,如整数DCT变换、多参考帧的运动估计、多种宏块分割模
由于互联网技术的普及,计算机已经走进了各大企业以及各家各户,毫无疑问计算机给人们的工作和生活带来了许多的便捷,但是由于黑客的非法入侵,以及用户自己安全意识的缺乏,无