一种主题知识自增长的聚焦网络爬虫

来源 :计算机应用与软件 | 被引量 : 0次 | 上传用户:lhihxk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
聚焦网络爬虫是各类因特网文本挖掘和信息检索应用必需的处理步骤。现有聚焦网络爬虫面临着知识描述困难、误差易被放大等挑战。发现网页中主题知识存在的若干性质,提出一种主题知识自增长的聚焦网络爬虫KAG-Crawler,在网页爬取过程中采用一种无监督的学习技术不断扩展主题知识,从而使爬虫在一个简单的初始主题描述条件下,能够以较高正确率爬取大量网页。同时为便于主题知识的扩展,还提出一种新的主题表示模型,并基于该模型构建了新的网页主题和URL主题相关度方法。最后在真实环境下的实验表明,KAG-Crawler的性能显著高于传统基于文本相似度的聚焦网络爬虫。
其他文献
现代农业科研生产中对于生物防治农业病虫害的研究日益深入,合理地利用害虫的天敌来减轻病虫害对作物生长过程的危害已成为科技工作者研究的重要目标。然而现有的技术手段无
采用CR+WR+IA(冷轧+温轧+退火)热处理工艺,研究了两相区退火过程中碳化物演变行为及其对0.1C-5Mn钢组织、性能、残留奥氏体体积分数与稳定性的影响。结果表明:冷轧试验钢经温
目的:慢性阻塞性肺疾病急性加重(AECOPD)发病率高,经济花费较大,严重影响患者的生活质量。现导师以“肺与大肠相表里”为治疗慢阻肺急性加重期的指导思想,导师自拟健脾化痰通腑
民事检察权是检察权在民事领域内的重要体现,是检察机关依据宪法和法律对民事诉讼进行法律监督的权力。经过司法实践证明,民事检察权的行使具有重要的意义,它可以充分发挥检
【目的】水田具有较好的水热稳定性,且基础地力对水稻产量的贡献大,所以水稻土基础地力高低是保证水稻高产稳产的重要指标。研究长期不同施肥下我国不同区域水稻土基础地力的
目的:研究水解小麦蛋白肽对大鼠急性酒精性损伤模型胃黏膜损伤的保护作用。方法:将60只Wistar大鼠随机分成空白对照组、胃黏膜损伤模型对照组、水解小麦蛋白肽低、中、高剂量
以LaNiO2做缓冲层,用射频磁控溅射法在Si02/Si(100)衬底上制备出[0.9Pb(Sc0.5;Ta0.5)O3-0.1PbTiO3/0.55Pb(Sc0.5Ta0.5)O3-0.45PbTiO3]4铁电多层薄膜。采用两步法在峰值温度800℃对薄膜进行
将"音乐为本,育人为本"的理念贯穿于中小学音乐课程的教学中,是义务教育新课标的核心要求。本文在新理念的指导下,结合实践教学案例,旨在探索哪种教学模式可以激发学生的音乐