基于循环神经网络的依存句法分析模型研究

依存句法分析是自然语言处理的重要工作,对句子依存结构分析的好坏直接影响系统更深层次分析句子的能力。传统的句法分析模型,特征表示方法是将训练语料中出现的信息以离散的字符串形式记录,系统的性能主要依赖人工特征模板设计的优劣。该方法存在数据稀疏问题,并且大量的离散特征需要更多的内存与计算资源,实际应用中容易产生模型过拟合以及分析速度不够的问题。本文根据现有依存句法分析器存在的不足,结合深度学习的词语分布表示技术提出了新的依存句法分析模型,具体研究工作如下:(1)研究了传统依存句法分析模型与词语分布表示技术。首先介绍了依存句法分析的基本概念和常用分析方法。然后,对现有的神经网络语言模型及词向量表示技术进行理论分析。最后,阐述了近年来具有代表性的神经网络依存句法分析模型,它利用特征分布表示技术取得了较好的效率和准确度,但分析的准确度还可以进一步提高。(2)提出并实现了循环神经网络依存句法分析模型。针对基于转移的神经网络依存句法分析模型对当前动作决策只能利用有限窗口信息,无法捕捉词语长距离依赖特征问题,提出并实现了基于循环神经网络的依存句法分析模型。从词向量和词性向量表示上进行改进,使用双向长短时记忆单元作为网络结构的非线性变换层。实验表明,该方法能够减少系统设计的复杂性并提升依存句法分析性能。(3)提出并实现了基于编码解码的分层式依存句法分析模型。针对依存句法分析中基于图的方法和基于转移的方法存在的问题,提出一种编码解码依存句法分析模型,利用循环神经网络对整个句子进行编码,将输入句子映射到一个低维向量空间。解码阶段,结合当前词的上下文特征与已编码的句子向量作为条件,共同决定当前词的分类标记。通过在公开的数据集PTB和CTB上实验表明,该方法在保持较快分析速度的同时,分析准确度上有进一步提升。