基于领域本体的Web信息抽取技术研究

随着World Wide Web(简称WWW,Web)的迅速发展,网络上的信息与日俱增,互连网已成为人们获取信息的重要来源。而网络技术的迅猛发展为信息集成技术带来了新的问题和挑战,面对Internet上异质、异构数据的大量涌入,信息集成技术的研究呈现出前所未有的生命力。Web信息抽取技术是实现Web信息的集成一个有效途径。其主要目标是支持对Web上的多个数据源的查询,满足用户的查询需求。 信息抽取虽然需要对文本进行一定程度的理解,但与真正的文本理解还是不同的。在信息抽取中,用户一般只关心有限的感兴趣的事实信息,而不关心文本意义的细微差别等深层理解问题。因此,信息抽取只能算是一种浅层的文本理解技术。 而Web信息抽取在某些方面和Web信息检索类似,主要目的是方便用户获得所需信息为目的的;但两者又存在着很大的不同,如信息检索直接将检索到的Web相关网络资源直接提供给用户,Web信息抽取是将Web中各种不同格式表达的信息通过抽取技术转化为统一的信息表达方式。它为数据挖掘、新一代搜索引擎、面向专业领域的垂直搜索等提供了巨大的数据支持。信息抽取还可以看作是信息检索的进一步深化,研究指定信息的查找、理解和抽取,并将指定信息以适当的方式输出。信息抽取本身也是多种基本自然语言处理技术的综合应用,因此应用领域十分广泛。总之信息抽取的最终目的还是抽取出用户需要的信息供用户检索,查询和使用。 本文主要做了以下几方面工作。 1.基于领域本体的Web商品表格信息抽取。首先是提出以领域本体知识为指导,抽取表格信息表达为主的商品信息。由于市场信息化使得商务信息抽取、市场内容管理日益成为信息科学领域的一个研究热点。信息在网络上传播具有高时效,低成本等特性,因而越来越多的企业和个人都选择在网上发布商品信息,汽车,房产等信息都是鲜活的例子。这些信息本身多数都是以有一定的结构的信息如表格或类表格呈现,但是不同网站的表现形式却大相径庭。这里提出了以领域本体知识为指导,抽取表格信息表达为主的商品信息,自动集成不同网站的同类服务或产品的信息,用以实现专业检索的功能。以房产信息为例,首先利用本体及领域本体的相关知识,建立了一个房产信息领域的领域本体,用以指导信息抽取,并做了相关的实验。 2.基于领域本体的Web商品文本信息抽取。由于Web上的部分商务信息不是以表格或类表格形式呈现的,而是以自由文本形式出现的,而这些信息是以上的系统的盲区。因此进而结合自由文本信息提取方法,对自由文本的提取做了一定的深入研究,同样应用了领域本体的知识在上一步的基础上对Web上自由文本形式存在的房产信息进行提取。 3.有关领域本体的属性约简及文本相似度的计算的讨论。本文还讨论了有关对领域本体的属性约简方面的理论,以实现对Web信息抽取的优化。