论文部分内容阅读
随着互联网信息的日益增长,通用搜索引擎已经无法满足用户对于特定领域信息的查询需求。搜索引擎正在向个性化、主题化、智能化发展,其中基于某种特定主题的搜索引擎已成为一个研究热点。目前,在科技项目领域,科技项目信息获取基本靠通用搜索引擎查询和专家经验,通过科技项目主题搜索为用户提供相关项目信息的研究还比较少。本文针对通用搜索引擎查询无法为用户提供深入科技项目信息的问题,设计开发基于科技项目主题的搜索引擎系统,方便用户准确了解科技项目发展状况。论文研究工作如下：(1)分析主题爬行器的关键技术,研究提出基于科技项目主题的爬行器模型。模型通过选择权威页面作为初始URL种子页面,选取项目模板文档训练科技项目主题词库,应用改进的VSM余弦方法判定网页主题相关性,提出基于Shark Search和Hits的主题爬行策略。该模型过滤科技项目主题相关性差的网页,使爬行器能够更多的爬行主题相关网页,提高网页爬行质量。(2)针对PageRank算法容易产生“主题漂移”,偏重旧网页的问题,提出一种基于时间衰减因子的改进算法TD-PageRank (Time Decay PageRank)。该算法将网页内容表示为空间向量模型,运用TF-IDF计算关键词权值的基础上,给予网页不同区域关键词相应权值,减少“主题漂移”,加入时间衰减因子,以此来加速旧网页“沉淀”。实验表明,改进的算法相较于PageRank算法,主题相关的新网页在排序中上升,更多的主题相关的网页排在结果集前列。(3)基于以上两点研究成果,结合Nutch开源搜索引擎,设计基于科技项目的主题搜索引擎原型系统。系统对Nutch爬行模块进行改进,加入主题相关性判定模块和主题词库训练模块,加入IKAnalyzer中文分词,通过结合Nutch评分机制和TD-PageRank算法改进查询结果排序,设计用户查询接口。实验测试验证原型系统的可行性。在国内对于科技项目领域主题搜索引擎研究较少的背景上,本文在科技项目主题搜索引擎方面所做的研究成果对科技项目搜索领域起到“抛砖引玉”的作用。