【摘 要】
:
对互联网与信息实施足够的控制和管理,是保障国家发展和社会稳定,维护国家信息主权与安全,确保公共信息网络正常秩序的重要组成部分,具有重大的现实意义。探讨了网页信息还原
论文部分内容阅读
对互联网与信息实施足够的控制和管理,是保障国家发展和社会稳定,维护国家信息主权与安全,确保公共信息网络正常秩序的重要组成部分,具有重大的现实意义。探讨了网页信息还原涉及的相关技术,包括两个方面的内容:数据包捕获技术和网页还原技术。针对数据包捕获技术重点分析了Libpcap和Winpcap;针对网页还原技术着重讨论了超文本传输协议HTTP(HyperText Transfer Protocol),描述了协议的组成、相关参数、相关头域字段和消息体压缩算法。结合应用环境与实际需求,阐述了一个网页信息还原系统WIES(Web Information Extraction System)的总体设计原则及设计思想,设计了WIES的总体架构,描述了其处理流程、基本功能及各组成模块的功能划分。针对Winpcap数据包捕获方法及其缺陷,探讨了数据包捕获的四种优化措施:将主要应用移至内核处理;旁路内核协议栈;降低系统硬件中断频率;一次复制多个包到用户缓冲区。在分析比较四种优化措施的基础上,结合应用需求,确定了一次复制多个包到用户缓冲区作为WIES所采用的优化措施。讨论了一个融合解决HTTP/1.0和HTTP/1.1协议网页信息还原的通用HTTP协议信息还原框架,实现了基于HTTP/1.0协议的网页信息还原。针对HTTP/1.1协议中采用的持续性连接技术、块编码技术和消息体压缩技术,给出了一套处理方法,使WIES能够支持基于HTTP/1.1协议的信息还原,增强了WIES的整体功能,提高了WIES的实用价值。实际运行结果表明,WIES能对现有基于HTTP/1.0和HTTP/1.1协议的网页信息进行有效还原,运行稳定,性能良好,且具有良好的可扩展性。
其他文献
大型信息系统通常十分复杂,人们经常借助模型来分析设计系统,但传统建模方法己越来越不适应现代信息系统日渐复杂和多变的需求。九十年代以来,面向对象己成为软件工程领域的主流
油气田开发生产过程中,每天都会产生大量的生产数据信息,这些数据信息逐年累积后逐步形成海量数据,如何从这些信息中把有价值的数据抽取出来进行有效利用,为油气田开发生产提供决
随着网络通讯活动的日益频繁,诸多保障网络数据传输安全的技术随之应运而生,虚拟专用网VPN(Virtual Private Network)就是其中一种较为有效的技术。由于基于安全套接层SSL(Se
从1964年图形学诞生以来,虚拟现实研究一直是计算机图形学研究的一个重要分支。虚拟现实技术已经在各个领域得到了广泛的应用,尤其是在数字娱乐产业如影视工业,游戏工业,虚拟训练
近年来,由于在三维电视、自由视点电视、视频监控和视频会议等诸多交互式多媒体领域具有广泛的应用前景,多视点视频技术受到人们越来越多的关注。作为新型媒体,交互性是多视
随着近年来大规模存储、高性能工作站以及宽带网络等技术突飞猛进的发展,流媒体点播服务从技术上和经济上成为可能,大大丰富了互联网中的内容。然而传统的客户端服务器(C/S)架
目前,互联网上的数据呈爆炸式增长态势,海量的数据对数据存储和信息获取带来了前所未有的挑战。语义网被认为是下一代互联网的存储方式。以语义网形式描述的数据不仅可以被人们
遥感数据具有数据量庞大、内容复杂等特性,而且以不同方式采集的遥感数据,其存储介质和访问方式也有很大不同。如何集成分布的、异构的遥感资源,消除“遥感信息孤岛”,是遥感数据
并行计算机系统的性能和可靠性是与架构并行计算机系统网络结构的性质密切相关的。根据图论的知识,直接网络的结构可以用图来表示。至今,已经有数十种直接网络被提出并应用在
开关电源的建模方法分为数字仿真法和解析仿真法,其中数字仿真法又分为直接数字仿真法和间接数字仿真法。计算机辅助设计技术的迅速发展和高性能计算机的普及使得开关电源的直接数字仿真方法得到长足的进步,从采用改进的节点分析法的时域电路仿真发展到采用状态变量方法的分段线性仿真,为了加快模拟速度和提高系统精确性,又出现了分级仿真方法。虚拟样机设计验证测试技术是由分级仿真方法派生而来,它是在开关电源系统的开发中引