随着Internet的迅速发展，网上信息以爆炸性的速度不断丰富和扩展，搜索引擎成为获取信息的必需工具，而网络爬虫作为网页收集工具是搜索引擎的核心组成部分。随着互联网信息量的增大，对搜索引擎网页收集的全面性和及时性提出了更高的要求，因此爬虫的性能面临着巨大的挑战。不仅要求能够尽可能高效率的下载网页，而且要求能够尽量少的消耗计算资源和服务器资源。　　本文围绕着提高网络爬虫性能的核心需求，在深入研究了爬虫的工作原理和相关技术的基础上，从两个角度研究了爬虫的动态负载平衡：爬虫各任务并发执行时的内部负载平衡和对网络利用以及不同web服务器请求频率的外部负载平衡，从多个方面较大提升了爬虫的运行性能。　　本文的主要成果可归纳为以下几个方面：　　首先，在对爬虫相关技术进行深入研究的基础上，提出了基于流水线多任务并行的爬虫体系结构，以及采用多线程和缓冲区的实现方式，并论证了采用流水线多任务并行对性能的提高以及可能造成系统运行不稳定的问题。　　其次，研究了多任务并行爬虫系统中的关键问题——模块间负载平衡问题，提出了流水线负载平衡模型（PLB），以及通过对线程数量以及缓冲区大小进行动态调整来达到平衡的方法，并介绍了所采用的多种优化手段。　　然后，通过服务器负载平衡的思想研究了如何在限定带宽的条件下进行爬行的问题。首先提出了基于站点的下载速度预测对带宽控制的原理与方法，并根据时间序列函数建立了下载速度预测模型。同时在研究“礼貌性”爬行问题的基础上，重点介绍了面向服务器负载的礼貌爬行思想与服务器负载的探测方法，得到了基于服务器负载的站点最大访问频率计算模型。最后提出了在限定带宽条件下实现基于服务器负载的礼貌爬行策略，包括对每个服务器访问频率的计算算法，以及基于流水线并行方式的实现。　　最后，基于上述的理论研究成果，本文介绍一个高性能的分布式网络爬虫系统的设计开发。