随着时代的进步,互联网技术不断发展,网络成为了大家获取信息的主要途径。与此同时,互联网数据呈几何级增长,如何高效、快速的从中获取到我们感兴趣的内容十分值得研究。目前成型的产品及开源界中有大量类似的软件,在借鉴他们优点、改进他们缺点的基础上,基于实验室的云平台构建出一个高效的分布式数据采集系统,利用丰富的云端资源来实现大规模的网络数据采集。首先,本文中针对实际的数据采集场景,结合现有爬虫框架的优点和缺点,提出了分布式数据采集系统的整体架构,并将其划分为三个部分:web管理端、服务端、采集端。用户可以通过web管理端提供的操作界面,对采集任务、采集节点等进行灵活管理;服务端中为了降低采集系统的使用门槛,集成了自定义采集模版功能,用户既可以自定义采集模版,也可以使用内置的模版。同时,针对页面下载过程中存在的大量域名解析请求,服务端中实现了高效的DNS缓存系统,优化域名解析过程。针对现有布隆过滤器在URL去重过程中的不足,我们实现了并行的多布隆过滤器,降低了误判率;采集端是落实页面采集工作的节点,针对现有网站存在的大量的反爬虫措施,系统中以下载中间件的形式,集成了强大的防反爬虫模块,其中典型的如动态IP代理中间件等。其次,在以上设计的基础上使用Python作为基本的开发语言,以MVC设计模式对系统进行实现。控制端与各采集节点的信息传送是通过socket技术来完成;网页下载模块结合多线程技术实现高并发下载。页面解析模块结合lxml库的特点,实现了多种提取表达式语法的支持,其中包括xpath、css、正则表达式;数据存储模块既可以将提取的页面数据保存为文件(Excel、json等),也可以直接保存到数据库中,本文中针对两种存储方式,分别提供了接口实现。最后,将采集系统部署到实验室的云平台上,以实际的网站作为目标,进行了详细的测试。最终,实验结果表明系统符合预期,采集效果良好。