互联网时代的快速发展,带来的既是机遇也是挑战。网络数据日益膨胀,海量信息不断聚集,有价值信息的获取变得不再简单。目前信息检索仍然是一个热门话题。搜索系统其实质可视为一个信息检索系统,其中网络爬虫作为搜索系统的重要成员,其主要工作是将网页数据从互联网上爬取下来并进行存储。但这种爬虫方式单一、低效,不能满足人们对数据的日益需求,所以分布式爬虫逐渐成为研究的热点。与此同时,在大数据时代下,将数据挖掘分析与搜索系统结合起来,可以高效的检索出有价值的信息,无论对个人还是信息提供者来说都是非常具有研究意义的。本文首先通过研究分布式爬虫技术,选择操作简单、方便协调的主从式爬虫结构以及便于多爬虫协作爬取的广度优先遍历爬虫策略;并对布隆过滤器算法(Bloom Filter)进行性能分析以及对比不同改进型Bloom Filter,提出一种适用于本文分布式爬虫去重模块中的基于i-DBF的多维K分映射改进型Bloom Filter,并将优化后的算法集成到爬虫框架Scrapy-redis调度器模块的去重功能中,以降低在数据爬取时占用的内存空间;其次本文以爬取下来的网购平台店铺信息数据为例,从网购平台的角度对各个店铺提供的信息数据进行挖掘分析,这里数据源为蘑菇街女装店铺信息。站在信息提供者角度,确定将店铺进行分类的挖掘目标,建立店铺价值评估模型;同时根据对聚类算法高斯混合模型的分析,使用EM算法对其参数进行估计,针对EM算法收敛速度慢以及初值敏感的问题进行研究以及对比实验,确定使用IAFSA-Kmeans-EM算法进行参数估计,使其在收敛速度以及全局搜索上得到优化。本文将数据挖掘分析与搜索系统结合起来,将最终聚类分析结果应用于搜索结果排序功能上,为用户进一步搜索提供参考依据。最后通过采集下来的数据完成基于Elastic Search的搜索功能的实现。通过数据的爬取实验,验证了分布式爬虫在效率上明显高于单机爬虫,同时将数据挖掘分析与搜索系统相结合可以检索出更有价值的信息。