论文部分内容阅读
基于构件的软件开发方法被视为解决软件危机的现实可行途径,这种方法的前提是需要大量可以使用的元构件,为了解决构件的来源问题,当前互联网涌现了一批构件资源下载网站,但是这些构件资源总体分散,这对构件的准确、全面获取造成极大的不便,对这些构件资源网站的构件描述信息进行抽取、然后重新组织和整合,构建一个基于互联网的构件库系统,并提供统一的入口供构件获取者检索,具有重大的现实意义。构建基于互联网的构件库系统涉及到三个方面的关键技术,1)主题爬虫技术,主要从互联网当中采集包含有构件信息的web文档;2)信息抽取技术,从采集到的web页面中自动获取构件描述信息,并把它转换成语义更为清晰、更为结构化的格式;3)构件检索,对抽取到的信息进行标注、挖掘,并进行合理的组织和存储,提供一个入口供用户检索。本文将就信息抽取中的相关问题重点展开讨论,这是一个承上启下的研究,对上它需要对粗糙的、杂而无序的网页进行分析处理,提取出有效的构件描述信息,对下它需要以合理的方式进行组织,为后续的构件挖掘、构件检索提供便利。目前的一些网页信息抽取算法主要分为基于html结构、包装器归纳、网页语义分析三类,针对这些算法在抽取基于互联网的构件描述信息上的不足,提出了一种基于主题相似度不断逼近的构件信息抽取算法,通过引入结构化抽取模型的同义词表,屏蔽不同构件库网站对构件描述的差异,同时利用构件描述信息往往聚集在某个特定标签节点之下的结构特征,不断计算每个标签节点的主题相似度直到最大,从而达到精确定位和抽取目标信息的目的。充分且详实的实验表明,该算法在保证较高抽取率的前提下,实现起来相对简单,时间性能有小幅提升,同时可维护性好以及对网站结构的动态变化有很好的适应能力。