由于Web的地域分布式特性以及网络基础条件等方面的限制,随着Web的迅速膨胀,目前的搜索引擎由于其集中式的结构遇到覆盖率和更新率方面的瓶颈。使用广域网下的分布式搜索引擎,可以很好的适应Web信息管理的需求,获得比传统搜索引擎更高的效率。分布式搜索引擎设计中最重要的部分之一是调度系统,它将特定Web页面的抓取任务调度至广域网上效率较优的爬虫,以提高整个搜索引擎的抓取效率。准确并且迅速的调度策略是分布式调度系统研究的关键问题。本文针对分布式搜索引擎的特点,综合考虑分布式结构中调度系统的需求,研究分布式调度中关键技术并设计实现广域网上的分布式搜索引擎调度系统。本文分析了基于随机哈希、基于网站域名后缀及文件类型、基于地理位置、基于IP注册信息等传统Web划分策略的弊端,首次将网络距离预测应用在Web爬虫调度研究中。为了更准确地预测爬虫下载网页的速率,本文提出使用应用层上网络距离测量代替传统的网络层距离测量。之后,根据分布式搜索引擎爬虫加入退出的随机性和不确定性,选用不依赖于固定测量点的距离预测算法计算Web节点网络坐标。接着,在网络时延空间的基础上,研究和设计了划分准确性较高的基于迭代自组织的高质量Web划分算法。针对Web划分结果,研究了一种对广域网上的分布式搜索引擎按划分集合进行调度的算法,兼顾初始任务分配和动态调度时的负载均衡性。最后,将坐标建立、Web划分、调度三部分功能组合起来,设计了一种可靠性高,支持节点动态组织,易于扩展的分布式调度系统体系结构。本文针对应用层网络距离预测、Web划分和负载均衡算法均进行了实验分析。实验说明本文提出的广域网分布式调度系统的Web划分和负载均衡性能都比较理想。