基于Python技术的校园网搜索引擎的设计与实现

被引量 : 0次 | 上传用户:lfs888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数字校园的发展,校园网络信息呈现爆炸式的增长,信息的查找和定位变得更为困难,目前一般采用通用搜索引擎的站内搜索来进行信息的查找,但是由于通用搜索引擎往往不能及时收录最新发布的消息,并且校园网内有些使用二级域名或者直接使用IP地址访问的网站不容易被通用搜索引擎收录,所以使用传统的通用搜索引擎来搜索校园网的信息,越来越不方便。针对上述问题,本文以燕山大学校园网为研究对象,在分析了网络搜索引擎的原理、核心模块和运行流程的基础上,探索性地研究并实现了一个在Linux平台下基于Python技术的面向校园网的原型搜索引擎。首先,本文给出了搜索引擎的简要工作流程,介绍搜索引擎中的一些关键的技术,并着重分析了目前广泛运用的BM25搜索引擎检索模型。其次,通过使用基于Python语言的Scrapy开源爬虫框架,Beautiful Soup网页解析库,对搜索引擎的爬虫模块进行开发,指出了Scrapy框架原有的URL去重方法会导致针对大规模网站抓取时,内存耗费过大的问题,并提出了一种使用布隆过滤器对Scrapy爬虫框架的URL去重功能进行改进的方案。同时,根据实际经验,提出了两种防止爬虫被ban的策略。再次,利用基于Python语言的Whoosh索引检索库,对本系统索引检索模块进行开发。针对Whoosh对中文分词效果不好的问题,提出了使用jieba开源分词组件来对Whoosh的中文分词功能进行改进。通过使用基于Python语言的Flask框架,来实现用户界面,使用户可以通过网页端使用本校园搜索引擎系统。最后,对原型系统进行测试,并与谷歌、百度两大通用搜索引擎的站内搜索结果做比较,测试证明,本原型系统的搜索结果,要略好一些。
其他文献
<正>2012年修订后的民事诉讼法第二百三十条引入了申请人因受胁迫和欺诈达成和解协议可以申请恢复原生效法律文书执行的条款,并将恢复执行的请求权赋予了双方当事人。①尽管
以膜片钳技术记录了T淋巴细胞钙依赖性钾通道电流,发现西洋参多糖(200μg/ml)可使ConA激活的T淋巴细胞钙依赖性钾通道开放概率增加、开放时间延长、关闭时间缩短,单独不能激活通道
目前,我国的房地产金融业已初步成长起来并逐渐走向成熟。然而,房地产金融体系在取得众多成绩的同时,也暴露出诸多问题。本文在对当前我国房地产金融制度及运行存在的问题进
大学生对中国特色社会主义道路理论制度的认同程度,折射出当代大学生的马克思主义信仰现状。大学生是民族的希望,祖国的未来,国家建设和社会发展的生力军,教育引导大学生认同
在知识经济时代背景下,职业素养教育与培训受到各行各业的广泛关注。党校作为干部培训学校,责无旁贷地承担起了这一部分职责,图书馆作为党校的一部分,为党政干部的职业素养教
热量、日照、降水都是影响作物生长的关键气象因素,这些气象要素的变化将直接影响作物的种类和生长状况,从而影响作物生育期内的需水规律。近百年来,我国气候变化表现出增温
随着改革开放的深入,我国社会主义市场经济快速发展,物质生活水平显著提高,人民群众对食品的要求从量转向质,食品安全问题越来越成为人们关注的焦点。但是目前我国食品安全的
为应对2008年下半年由美国次贷危机所引发的全球性金融危机,我国政府出台了四万亿投资计划以扩大内需,应对危机。针对我国政府2008年11月以来开始施行的四万亿投资计划。本文
泥岩土样只测定了渗透试验前试样的颗粒级配,没有考虑试验过程中试样级配的变化。泥岩由于抗水性差、易软化,在试验的制样过程中因加水和击实作用发生颗粒破碎,在试验中由于
在雷达和无线通信系统中,一般的定向辐射天线很难满足对天线功能多样化的需求。高增益、波束指向性可调控天线由于具有传输距离远、抗干扰性强、能够实时跟踪目标等特性受到