基于LSTM的英文文本蕴含识别方法研究

文本蕴含识别是自然语言处理领域里一个关键而又充满挑战的任务。它被广泛地应用于机器翻译、文档自动文摘和语义检索等任务中。近十年来,得益于相关语义评测比赛的推动,文本蕴含识别逐渐吸引起越来越多研究者的关注。早期解决该任务的方法主要集中在人工抽取特征结合分类器的方案上。这类方法有两个缺陷,一是非常依赖于许多并不完善的基础NLP技术,所以错误传播问题在这类方法中普遍存在;二是在人工构建和提取特征的过程中通常需要大量外部语义资源的支持,会耗费较多的人力和时间。随着深度学习技术的迅速发展,越来越多的研究者开始利用神经网络模型来解决NLP任务,并且取得了许多突破性成就。端到端的神经网络能够有效地避免上述两个缺陷。近期发布的Stanford Natural Language Inference语料库,其训练集规模相比于同类评测语料库有了两个量级的增长,这使得利用深度学习方法来解决文本蕴含任务成为了可能。目前,基于深度神经网络的文本蕴含识别方法主要分为两类:基于句子表示的模型和基于句子匹配的模型。绝大多数已提出的方法都利用LSTM进行句子编码。本文的主要研究工作结合上述三种文本蕴含识别方法展开:1.基于逻辑回归模型的文本蕴含识别。这部分工作作为本文中的一种基线方法。针对SNLI语料库规模较大的特点,提取四类与模式匹配和句子相似度相关的特征,然后对特征进行简单过滤去除冗余,最后利用逻辑回归模型完成分类任务。2.基于句子表示的文本蕴含识别。实现基于暹罗网络结构的文本蕴含识别模型。提出了一种基于双向LSTM的句子编码方法,前提句和假设句分别独立编码,产生两个句子表示,然后通过连接、按位相乘和按位相减操作进行句子匹配,最后通过Softmax分类。3.融合Attention机制的文本蕴含识别。提出了基于LSTM的前提假设合并输入的句子匹配模型。然后将Attention机制应用于本文提出的两个模型中。通过Attention对句子中单词的重要性进行了区分,利用Attention权重来得到更加准确的句子表示。SNLI语料库上的实验证明了融合Attention机制的模型的有效性。此外,本文提出的融合三个模型结果的投票策略,进一步提高了准确率。