随着Internet的快速发展,现在世界上绝大多数人都在用网络进行交流,网络在把信息传到用户方面已经取得了难以置信的成功,Web己经成为一种主要的知识来源,它经过十年左右的发展已经成为一个巨大的全球化知识仓库。 Web数据的组织格式主要以HTML这种半结构化的形式为主,是典型的非规范知识。这种语言不能处理网络上的很多需求,因为它只是一种用于浏览信息的语言,不能表达数据本身,网络还没有形成一个良好的结构化文档的存贮,而只是一个可变的HTML页的聚集,因此迫切希望来自网络资源的信息以一种结构化的方式来存贮,XML和它的各种扩展功能(如数据模型、查询语言等)是实现结构化方式的一种。使用扩展的标志语言XML,它是SGML的一个子集,是一种元语言,可以弥补很多HTML的不足。随着语义网的发展,未来的网页会使用具有很好结构化的XML语言,但是现在这一阶段是过渡阶段,必须思考一种方法来实现HTML到XML的转换,以更好地利用网络资源。 不像结构化数据,半结构化的数据对于数据查询来说是十分不容易的。面对Web这个信息的海洋,用户要精确地找到所需信息变得非常困难,往往面对着从搜索引擎中查找的大量的信息而不知所措。为此,人们希望可以得到一种能达到专家水平的高质量的信息抽取方案,这样可以为我们提供准确和简洁的信息来源,而不至于在信息的海洋中苦苦查找。信息抽取技术(Information Extraction,缩写为IE)是一种面向具体任务的实用的文档理解技术。与复杂的自然语言理解技术不同,IE技术通常采用浅层的文本分析技术,提取出设计者关注的特定主题的信息。该技术适用于具有特定主题及相对确定的信息结构的文档,如:广告、新闻、数据库自然语言查询和特定领域的文告等。针对这种情况,本文提出了基于领域本体的资源管理平台,重点实现了平台中的资源采集模块,在信息抽取中引入了Ontology技术和DOM模板技术,提出了一种基于Ontology能处理语义的Web非规范知识(HTML文档)采集系统。 在实现Web网页的信息抽取中,本文引入bot网页抓取技术、lucene索引技术、Ontology技术、DOM模板技术、HTML转换XML技术和XML存储技术,实现了一种基于本体的、能把HTML非规范信息按领域本体生成的映射规则转换成XML规范信息的Web信息采集系统。为了减少工作量,本文尽量采用了现有的比较成熟的技术和工具包,所以本文的工作重点是采用Java技术、Ontology技术和DOM模板技术,使用XSLT模板来实现HTML文档向XML文档的转换。即设计一个HTML-XML包装器,从HTML页面中抽取信息,以嵌入字符串列表SL的形式进行存贮,最后通过领域本体生成的映射规则映射成XML信元,把该XML文档存储到资源库中,从而实现HTML到XML的转换。