基于词向量特征的循环神经网络语言模型

被引：39

作者：

张剑

屈丹

李真

机构：

[1] 中国人民解放军信息工程大学信息系统工程学院

来源：

模式识别与人工智能 | 2015年 / 28卷 / 04期

关键词：

语音识别; 语言模型; 循环神经网络; 词向量;

D O I：

10.16451/j.cnki.issn1003-6059.201504002

中图分类号：

TP183 [人工神经网络与计算]; TP391.1 [文字信息处理];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ; 081203 ;

摘要：

循环神经网络语言模型能解决传统N-gram模型中存在的数据稀疏和维数灾难问题,但仍缺乏对长距离信息的描述能力.为此文中提出一种基于词向量特征的循环神经网络语言模型改进方法.该方法在输入层中增加特征层,改进模型结构.在模型训练时,通过特征层加入上下文词向量,增强网络对长距离信息约束的学习能力.实验表明,文中方法能有效提高语言模型的性能.

引用

页码：299 / 305

页数：7