深度递归的层次化机器翻译模型

被引：26

作者：

刘宇鹏 ^{[1
,2
]}

马春光 ^{[1
]}

张亚楠 ^{[2
]}

机构：

[1] 哈尔滨工程大学计算机科学与技术学院

[2] 不详

来源：

计算机学报 | 2017年 / 40卷 / 04期

基金：

中国博士后科学基金;

关键词：

循环神经网络; 递归神经网络; 词/短语/规则嵌入; 层次化递归神经网络; 自然语言处理;

D O I：

暂无

中图分类号：

TP183 [人工神经网络与计算]; TP391.2 [翻译机];

学科分类号：

摘要：

深度学习在自然语言处理中有很多的应用.深度网络的主要作用是捕获隐藏在语言结构中更深的语义信息.该文出发点为根据原有句子中的对齐作为深度网络生成结构的指导,并融合原有深度翻译模型的优点,提出了深度递归的层次化机器翻译模型.相对于已有的神经翻译模型来说,更好地结合了层次化的翻译过程,同时这种方法结合循环神经网络和递归神经网络的优点.层次化规则的归纳包含两个部分:短语的归纳和形式化规则的归纳,而在该文的建模过程中模拟了这两个部分且符合归纳过程.该文在训练中采用单词级语义错误、单语短语/规则语义错误和双语短语/规则语义错误构造目标函数,训练中能够更好平衡语义中3个部分的影响,同时考虑到对齐信息以指导层次化深度神经网络的训练.在解码过程中通过生成部分翻译结果的语义向量,最终得到句子间的语义关系,这样可以在语法结构中加入语义信息,克服了原有层次化模型语义信息缺乏的问题.该模型的实验结果说明了深度递归的层次化机器翻译模型的有效性,相对于经典的基线系统提高了1.491.84BLEU分数.

引用

页码：861 / 871

页数：11

共 3 条

[1] Prototypicality in sentence production[J] . Kristine H. Onishi,Gregory L. Murphy,Kathryn Bock.Cognitive Psychology . 2007 (2)
[2] Hierarchical phrase-based translation
Chiang, David
[J]. COMPUTATIONAL LINGUISTICS, 2007, 33 (02) : 201 - 228
[3] Learning Topic Representation for SMT with Neural Networks. Cui L,Zhang D,Liu S, et al. ACL . 2014

← 1 →