问答对自动获取的研究

问答对的规模和质量是影响基于常问问题集问答系统性能的重要因素,目前所使用的问答对库一般是人工构建的,往往需要耗费大量的时间和人力物力。本文围绕问答对库构建过程中的网页问答对自动获取,领域问答对过滤及相关问答对过滤等技术进行了一系列的研究和探讨,主要取得了以下几个方面的成果： (1)提出了一种基于DOM的网页问答对自动获取方法。该方法将HTML页面解析成DOM树形式,抽取树的文本节点作为问答对的候选,根据DOM树的节点和结构信息提取分类特征,采用改进贝叶斯分类算法,构造分类模型,实现了从网页中自动获取问答对的方法。问答对自动获取实验结果表明,该方法具有较好的效果。 (2)提出了一种结合句法结构关系和领域特征的领域问答对过滤方法。研究领域知识库构建方法,结合云南旅游领域特点,构建了云南旅游领域知识库。在句法结构分析的基础上,选取句子主干与领域词汇作为分类特征,采用改进贝叶斯分类器进行领域问答对过滤。实验结果表明,结合句法结构关系和领域特征进行领域问答对过滤具有很好的效果。 (3)针对问答对特点,提出了一种面向词组合与句子的相关问答对过滤方法。该方法通过计算词组合或句子和问答对的相似度来判断两者是否相关。以“知网”为基础,计算词语语义相似度。在句法结构分析的基础上,提取问答对中的有效搭配对,并计算有效搭配对之间的相似度,从而实现了融合词法、句法和语义的问答对相似度计算。而向词组合与句子的相关问答对过滤实验结果表明,该方法具有较好的效果。 (4)利用上述研究成果,搭建了网页问答对自动获取原型系统,云南旅游领域问答对过滤原型系统,面向词组合与句子的相关问答对过滤原型系统。