基于移动代理(Agent)的智能爬虫系统的设计和实现

来源 :科技资讯 | 被引量 : 0次 | 上传用户:yangliang0510
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
提出了一种基于移动代理的的爬虫系统,系统中爬虫代理运行在远程Web服务器上,它将集中在服务器端的任务如:特征提取、建立索引等分散到远程的Web服务器上并行运行,而且代理个数是可控的,最后将少量的数据回传到服务器端,这不仅提高了效率而且减小了网络传输量.
其他文献
新农村体育文化的可持续发展关系广大农村居民身心健康,在加快社会主义现代化过程中起着重要的作用。通过对农村体育文化发展的现状分析及农村体育可持续发展的研究,提出新农
汽车制造企业越来越重视产品质量及其相关信息的保存,更要求其零部件供应商也能提供自身的零件生产制造信息,针对汽车零部件制造企业生产数据采集手段落后、质量信息获取不完
《国家学生体质健康标准》的根本目的是促进学生的身体素质的健康发展,但是由于在实际的操作过程中被"实用化",致使《国家学生体质健康标准》测试的阶段性效果不佳。试图利用大
基于模糊数学的基本理论,引入船体强度、工艺性以及经济性等因素作为评判参数,同时也对工艺性指标进行细化,按成对比较法确定各参数的权重系数,构建满意度函数,引入专家评估法,实现
随着汽车工业的高速发展,人们的经济收入不断增加,生活水平越来越高,私家车、个体运输车等越来越多,在使用车辆的过程中难免发生故障,本文主要思考汽车启动机常见故障及其维
摘要:随着人们对旅游的要求不断提高,旅游巴士公司不断升级旅游客车系统,使其能够满足人们的对旅行安全和人性化的要求。本文将GPS、北斗导航技术、蓝牙技术相结合,使旅游巴士客车更加舒适、智能、可控,能够更加充分的满足旅行者和旅游巴士公司的要求。  关键词:车联网;导航技术;汽车通讯  1 全球卫星定位(GPS)技术发展  卫星导航是车联网的基础,随着车载导航系统被人们认识程度的不断加深,汽车导航的市场