【摘 要】
：
针对当前分布式网络爬虫方法遇到的处理效率、扩展性、可靠性、任务分配和负载平衡等问题,提出了一种主动获取任务式的分布式网络爬虫方法。该方法在子机节点中加入分控模块,
论文部分内容阅读
针对当前分布式网络爬虫方法遇到的处理效率、扩展性、可靠性、任务分配和负载平衡等问题,提出了一种主动获取任务式的分布式网络爬虫方法。该方法在子机节点中加入分控模块,评估节点负载及运行状况,并主动向中控节点申请任务队列。在此基础上,结合动态双向优先级任务分配算法,设计了一种具有负载平衡、任务分级分配、节点异常敏捷识别、节点安全退出等特性的分布式网络爬虫模型。实际测试表明,该主动获取式的分布式网络爬虫方法可有效地利用通用平台建立大型分布式爬虫集群。
其他文献
三维荧光光谱（total scanning fluorescence,TSF）技术是一种新的荧光分析技术,在鉴别储层中烃类包裹体、油气运移路径及古油水-现今油水界面方面有着广阔的应用前景。这种技术
随着我国的电力系统的电压等级不断提升,500kV变电站在电力系统高压输电中的作用越来越重要,一旦其遭受雷击导致雷害,轻则影响电力系统的正常运行,重则将造成电气元器件损毁
目的分析儿童和青少年可逆性后部脑病综合征(PRES)的临床资料和MRI特征,探讨其病因、发病机制及MRI表现与成人的异同。方法回顾性分析8例PRES患儿的临床资料及MR扫描结果。结
采用离散元法(DEM)对变振幅等厚筛分过程进行模拟试验,探究了不同生产率条件下粒群的时空分布规律,通过变振幅模型机筛分试验,研究了不同生产率条件下筛面各段粒群透筛分布规
习近平指出：“我们要牢固树立社会主义生态文明观，推动形成人与自然和谐发展现代化建设新格局，为保护生态环境作出我们这代人的努力”，向世界表明了中国共产党人的“雄心壮志”。
为了研究无热子空心阴极冷启动特性,测量了点火电压、供气流量、触持极与发射体间距等对空心阴极的点火及放电特性的影响。随着空心阴极点火电压从200~600V逐渐升高,阴极冷启
从结构形式和材料属性等方面简要概括了水下目标声隐身覆盖层的吸声原理，介绍了世界各国主流潜艇橡胶类和聚氨酯类消声覆盖层的应用情况。从理论分析和材料制备等方面详细介绍
<正>目的:研究EGFR抑制剂对大鼠离体缺血再灌注损伤心肌的作用及其机制。方法:采用langendorff离体心脏灌流法,以全心停灌-复灌方式建立心肌急性缺血再灌注损伤模型,观察2种E
器官移植是目前器官终末期疾病的最有效治疗措施,但是移植术后的排斥反应仍是阻碍患者和移植物长期存活的主要原因。对于巨噬细胞,人们更多关注的是它在移植排斥中发挥的促炎
目的了解我院门诊中草药处方关于月经不调用药情况,治疗效果,加强合理用药。方法对我院门诊中药房2006～2008年3年中月经不调的草药处方进行分析、研究和总结,并且参考一定的文