暗网资源挖掘的关键技术研究

被引量 : 0次 | 上传用户:fbhww
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
进入21世纪后,科技发展日新月异,互联网技术飞速发展,特别是Web2.0技术的引入使得互联网应用渗透到社会生活的各领域。人们从互联网上获取信息的手段通常是使用浏览器,而浏览器搜索的基础是搜索引擎,搜索引擎是指自动从互联网搜集信息,经相关整理后给用户进行查询的系统。搜索引擎索引的资源通过搜索程序检索信息,这些搜索程序就像蜘蛛一样在网络间爬来爬去,被称为网络爬虫,网络爬虫根据网页中的超链接关系抓取资源,这些资源被称为浅层网络资源。然而,互联网中还存在很多资源无法通过网络爬虫直接获取,这些资源隐藏在Web数据库中,只能通过与数据库相关的查询接口提交查询的方式访问,这些资源被称为暗网资源。如果搜索引擎能够对其进行检索,将对提高搜索引擎的资源覆盖率有重要的现实意义。本文针对暗网(Hidden Web)资源挖掘进行了深入研究,分析暗网资源挖掘中的难点问题并提出了解决这些问题的算法。本文的主要工作包括以下几个部分:(1)对暗网查询接口识别和分类的分析与研究;(2)设计了暗网查询接口的查询构造方法;(3)设计并实现了算法来验证构造的URL链接的有效性,URL链接的有效性基于该URL对应的页面信息的有效性;(4)设计并实现了更多链接发现算法。
其他文献
随着经济全球化和区域一体化的深入发展,面对复杂多变的经济形势和变幻莫测的市场环境,如何扬长避短借势腾飞,如何借助区位优势实现跨越式发展,是清远市地方政府不容回避的重
社会发展和城市建设等各项内容都难以离开电力的支持,配电线路的正常运行是生活生产的重要保障。供电问题多数来自于线路运行故障,为避免线路对人们生活生产造成较大影响,应
阐述了江苏省农业结构调整在农业发展中的作用、面临的主要问题和新一轮农业结构战略调整的 6个方向和重点
我国合成氨产业规模居世界第一位,总产量占世界的1/3左右。与此同时,合成氨工业的污染物排放也较为严重,其中,氨氮排放量约占总排放量的1/5。除大力推广清洁生产和废水清污分流
电动葫芦用钳式制动器是电动葫芦起升机构上的第二个制动器。为了保证吊运液态金属及其它危险物品的安全,为了在充有易爆易燃混合物的防爆电动葫芦使用安全,电动葫芦起升机构
20世纪80年代末期,我国开始逐步开展幼儿英语教育,我国的外语教学研究者也对幼儿英语教育进行了系统的研究与探讨,从而使幼儿英语教育能够在科学理论的指导下,获得可持续发展
在解读英国国家档案馆收藏的原始文件的基础上,本文考察了1945年至1955年英国防务战略的演变,并重新审视了冷战起源问题(本文中的“冷战起源”一词指1945-1955年东西方冷战阵
阐述了Windows瘦客户机的概念及其应用与特点,分析了在图书馆网络系统构建中瘦客户机的具体应用。
探讨祼花紫珠片马应龙痔疮膏在混合痔PPH术后并发症的临床疗效。本研究从2015年1月-2016年6月选择80例混合痔吻合器痔上黏膜环切除术后患者,随机分组,对照组采用西药治疗;观
随着网络信息时代的到来,人们的学习、生活和工作的图景发生了革命性的变化。高效地搜索所需信息的能力即搜商,成为一种全新的学习方式,它直接影响到学习者的终身学习力。本