基于RNN-RBM语言模型的语音识别研究

被引：24

作者：

黎亚雄 ^{[1
]}

张坚强 ^{[2
]}

潘登 ^{[3
]}

胡惮 ^{[4
]}

机构：

[1] 湖北科技学院网络管理中心

[2] 弗吉尼亚理工大学信息技术中心

[3] 湖北科技学院外国语学院

[4] 中南财经政法大学外国语学院

来源：

计算机研究与发展 | 2014年 / 51卷 / 09期

关键词：

语音识别; 语言模型; 神经网络; 递归神经网络-受限玻尔兹曼机; 关联信息;

D O I：

暂无

中图分类号：

TN912.34 [语音识别与设备];

学科分类号：

摘要：

近年来深度学习兴起,其在语言模型领域有着不错的成效,如受限玻尔兹曼机(restricted Boltzmann machine,RBM)语言模型等.不同于N-gram语言模型,这些根植于神经网络的语言模型可以将词序列映射到连续空间来评估下一词出现的概率,以解决数据稀疏的问题.此外,也有学者使用递归神经网络来建构语言模型,期望由递归的方式充分利用所有上文信息来预测下一词,进而有效处理长距离语言约束.根据递归受限玻尔兹曼机神经网络(recurrent neural network-restricted Boltzmann machine,RNN-RBM)的基础来捕捉长距离信息;另外,也探讨了根据语言中语句的特性来动态地调整语言模型.实验结果显示,使用RNN-RBM语言模型对于大词汇连续语音识别的效能有相当程度的提升.

引用

页码：1936 / 1944

页数：9

共 9 条

[1] Modeling temporal dependencies in high-dimensional sequences:Application to polyphonic music generation and transcription. Boulanger-Lewandowski N,Bengio Y,Vincent P. Proc of the 29th Int Conf on Machine Learning . 2012
[2] Can Atifical Neural Networks Learn Language Models. Wei Xu,Alex Rudnicky. 6th International Conference on Spoken Language Processing (ICSLP2000) . 2000
[3] Learning long-term dependencies with gradient descent is difficult. Bengio Y,Simard P,Frasconi P. IEEE Transactions on Neural Networks . 1994
[4] A Neural Probabilistic Language Model. Bengio, Yoshua,Ducharme, Réjean,Vincent, Pascal,Jauvin, Christian. Journal of Machine Learning Research . 2003
[5] A fast learning algorithm for deep belief nets. Hinton Geoffrey E,Osindero Simon,Teh Yee-Whye. Neural Computation . 2006
[6] Neural network based language models for highly inflective languages. Mikolov T,Kopecky J,Burget L,et al. Proc of the 34th IEEE Int Conf on Acoustics,Speech and Signal . 2009
[7] The problem of learning long-term dependencies in recurrent networks. Bengio Y,Frasconi P,Simard P. Proc of IEEE Int Conf on Neural Networks . 1993
[8] RNNLMRecurrent neural network language modeling toolkit. Mikolov T,Kombrink S,Deoras A,et al. Proc of IEEE Workshop on Automatic Speech Recognition and Understanding . 2011
[9] Stochastic gradient learning in neural networks. Bottou L. Proc of Neuro-Nmes 91 . 1991

← 1 →