随着互联网信息内容的爆炸式增长,如何从海量信息中动态获取个人感兴趣的信息已成为当前研究热点之一。目前人们主要通过搜索引擎进行相关信息的检索。搜索引擎返回的信息往往是基于关键词的相关网页列表,而网页的来源错综复杂,如何基于网页发现与主题紧密相关的专业网站或专栏(本文简称“信源”)是本课题研究的重点。与网页检索相比,网站或专栏往往具有专题性强、信息质量高、动态更新等特点,更符合科技人员的研究需要。本文提出了一种基于网站特征分析的信源发现技术研究。即通过网页检索、内容清洗、相关性分析、网页来源分析、来源网站或栏目特征提取、评价推荐等环节实现用户需求网站或栏目的自主发现和检索排序。在本研究中,将网站或栏目作为情报研究的主要信源。网站特征的选取与相关度计算算法是本文研究的重点。本文提出了一种基于网站结构特征和内容特征相结合的网站特征抽取算法,并结合BM25(Okapi Best Match25)算法和余弦距离实现相关度的计算,同时综合考虑网站的特征数量和更新频度等评价网站的重要度。最终将高得分新网站或栏目信息每天反馈给用户,从而实现信源自动发现的目的。实验表明,该方法能充分利用不同网站的结构特征和内容语义特征有效地实现网站信源的检索发现。为了不断提高信源发现的精准性,系统结合用户浏览相关网站的隐性反馈行为,可以动态地优化排序结果;为了提升信源发现的效率,在实现环节采用了分布式文件系统和分布式计算架构。