随着我国网络技术的快速发展,互联网上的数据也成指数级的增长,人们越来越关注如何快速有效地从网络里提取出有价值的信息,使之在决策阶段起到作用。这给现在的搜索引擎技术带来了很大的挑战。而搜索引擎的数据源是来自于网络爬虫爬取的信息,一个搜索引擎搜索结果的数量和质量在一定程度上取决于网络爬虫爬取内容的数量和质量,而如何组织这些爬虫也成了一件能影响爬虫的爬取结果的事情。随着在服务器上部署的爬虫的增加,对爬虫监控系统的需求也越来越紧迫。监控管理系统的部署将会给爬虫的管理带来很大的方便。基于上述背景,本文提出了一个基于开源爬虫的监控系统的设计和实现方案,帮助爬虫管理员能在有效的时间内分析多个爬虫任务的状态,并能对多个分布式的爬虫进行控制,根据爬虫的状态远程地添加爬取任务等操作,提高了爬虫管理的效率,从而更好地为项目组其它的功能模块提供更好的底层数据支持。本论文基于Yii开发框架和开源的Java爬虫Heritrix,实现了一个面向多个分布式爬虫的监控系统。首先,研究了Yii开发框架和Heritrix源代码,进行了系统的需求分析,提出了面向多爬虫监控系统的逻辑架构方案和物理部署架构方案。其次,对系统的主要功能模块进行了划分,并对系统的主要工作流程进行了详细的分析。之后对各个模块进行了具体的实现,其中重点介绍了功能描述和工作原理。最后,本文针对所实现的监控系统进行了详细的测试,分别对各个功能模块和整体进行了详细的功能测试。对得到的测试的结果进行了分析,测试结果符合要求。除此之外,本文还对系统中不完善的地方提出了改进的计划。