基于动词次范畴化的汉语句法分析后处理方法的研究

句法分析是自然语言处理的一个基本问题,其主要任务是判断输入的单词序列能不能构成合乎语法的句子,构造出合乎语法的句子的句法结构,也就是应用语法规则或其它知识,依据该输入句子中单词之间的线性次序,得出一个非线性的数据结构。它有很多应用,比如机器翻译、信息获取、自动文摘等都有着重要的作用。 在基于统计的句法分析方法中,最关键的两个问题是建立消解语言歧义统计模型和句法分析后处理的设计,它们决定着句法分析系统的分析正确率和效率。本文从事的工作则主要从句法分析后处理方面入手,提出了一个基于动词次范畴化的汉语句法分析后处理的方法,主要研究工作如下: 1.研究现有常用的统计句法分析模型和句法分析算法,并对其进行综合分析比较,而且解释了动词次范畴化句法模式的理论、形式化描写以及次范畴化和对应的句法树之间的关系。 2.用统计句法分析模型产生n-best句法分析树输出,通过用基于转移的错误驱动的学习方法来进行一步改善动词次范畴化的提取,进行相应的重排序来寻找最优的句法分析树,并进行了相应的基于动词次范畴化规则方法的句法分析后处理实验。 3.通过用基于转移的错误驱动的学习方法来进行一步改善动词次范畴化的提取,达到改善句法分析的最优解,并进行了基于动词次范畴化统计信息方法的句法分析后处理实验。 本文的实验采用了中文信息学会CIPS-ParsEval-2009竞赛语料作为训练语料,它来自于清华汉语语料库(TCT),并用中文信息学会CIPS-ParsEval-2009测试数据进行实验。实验表明本文最好的结果F1值达到88.759%接近中文信息学会句法分析CIPS-ParsEval-2009最好结果F1值88.77%,有利的证明本文的基于动词次范畴化的汉语句法分析后处理方法具有较高的句法分析效率和正确率。